La réalité augmentée permettrait de simplifier
l'interaction entre formateur et mécanicien grâce à la reconnaissance
gestuelle et un mode vocal. Un système existe ainsi, qui combine les
capteurs de la Kinect et une caméra.
Pour améliorer la formation des
mécaniciens, l'industrie automobile pourrait compter sur les
technologies habituellement dédiées aux consoles de jeux. Des
chercheurs* ont mis au point un prototype qui combine la réalité
augmentée et les capteurs du
système Kinect.
L'idée? Créer un système de formation virtuelle afin d'améliorer
l'interaction entre le formateur et les apprenants. Actuellement, les
séances de formation se déroulent de façon centralisée avec un formateur
qui doit suivre manuellement chaque étape pour chaque apprenti
mécanicien. Dans certains cas, sa présence physique est indispensable ce
qui augmente sa charge de travail et engendre des retards dans les
opérations.
Un scénario prédéfini
Pour éliminer ces contraintes et automatiser la formation, le
prototype des chercheurs intègre les capteurs très haute qualité de la
Kinect et une caméra, pour proposer un système en mode vocal ou en mode
gestuel. Le mode vocal est contrôlé par différentes commandes orales
tandis que le mode gestuel reconnaît les gestes effectués grâce aux
capteurs de la Kinect. Equipé d'une caméra, le système collecte les
données du squelette de l'apprenant en se basant sur 20 points
différents d'articulations de son corps. Pour vérifier que les actions
ont été correctement réalisées, le prototype compare les données
collectées pour chaque mécanicien à un scénario prédéfini. Tout ceci en
grâce à un module de réalité augmentée qui, grâce à la caméra, capture
ces données en temps réel et génèrent un modèle 3D qui se superpose au
scénario.
Une nouvelle forme de documentation
L'apprenant se laisse guider par le système au-fur-et-à-mesure
des étapes de sa formation et est capable d'identifier et suivre ses
mouvements en s'assurant qu'ils réalisent chaque phase correctement.
Auquel cas, le système lui signifierait ses erreurs en indiquant les
corrections. Ainsi, le travail de l'expert formateur serait réduit aux
activités les plus complexes, les plus simples étant supervisées par le
système. Il garderait également une trace de toutes les actions qui ont
été réalisées, tout ceci depuis son bureau. Ce système aurait ainsi
également vocation à simplifier les documentations. Pour rappel, de
nombreux projets intègrent la réalité augmentée à un module de
formation, comme le Wearable Behavioural Navigation System, qui
permet de guider une personne via une paire de lunettes en réalité augmentée.
*S. Warade, J. Aghav du
College of Engineering de Pune en Inde, C. Petitpierre du
Swiss Federal Institute of Technology de Lausanne en Suisse, S. Udayagiri du
John Deere Technology Center en Inde. Automated Training and Maintenance through Kinect (2012)
