Communication

Interface Humain-Machine de détection visuelle de la posture de la main dans une application d'analyse de gestes et de contrôle d'une pince robotique

Fabienne Lathuiliere

Membre a labase

Fabienne Lathuiliere

Résumé de la communication

Les propriétés de dextérité de la main humaine suscitent actuellement beaucoup d’intérêt dans le domaine de l'Interface Humain-Machine, d’où l’émergence d’applications d’interprétation de gestes. Le travail présenté ici propose un système de détection visuelle de la posture de la main, non immersif et réagissant en temps réel. Une unique caméra couleur observe la main en mouvement dans une tâche de saisie d'objet. La main est revêtue d'un gant muni de points de couleur aux extrémités des doigts ainsi que sur la partie dorsale de la paume. Un modèle cinématique original de la main à 26 degrés de liberté est proposé. L'extraction des positions des indices de couleur dans l'image permet alors de calculer la position et l'orientation de la paume puis de reconstruire les angles d'articulation des doigts par cinématique inverse et heuristiques. En cas d’occlusion d’un ou de plusieurs doigts, un algorithme de prédiction et de validation des occlusions par une méthode de visibilité géométrique permet d’estimer la configuration des doigts. Les résultats obtenus sur des séquences de synthèse puis sur des séquences réelles de gestes ont permis de valider la méthode de reconstruction de la posture de la main, et ce, même en présence d'occlusions. Ce système a ensuite été appliqué à une analyse de plusieurs gestes de préhension afin d’en extraire des caractéristiques propres. La suite de nos travaux propose l'exploitation de la trajectoire du geste effectué par l’opérateur afin de contrôler une pince robotique chargée de saisir un objet similaire par asservissement de type maître-esclave. Des expériences pertinentes en simulation ont prouvé l'intérêt du système de suivi de la posture de la main pour contrôler un robot manipulateur.

Contexte

Section :

Génie électrique et génie informatique

Domaine de la communication :

Génie électrique et génie informatique

Hôte : Université de Montréal

Découvrez d'autres communications scientifiques

Dans le même domaine
Du même congressiste

Thème du communication :

Génie électrique et génie informatique

Transformée en ondelettes et mesure de lacunarité fractale pour la caractérisation de surfaces rugu…

Arnaud Lina

Méthode de conception de matériel par raffinements successifs

Karim Khordoc

Étude probabiliste de givrage et de délestage sur la ligne d'essais de 315 kV à Mont Bélair

Konstantin Savadjiev

Voir tous les contenus de ce communication

Autres communications du même congressiste :

Domaine de la communication :

Génie électrique et génie informatique

Interface Humain-Machine de détection visuelle de la posture de la main dans une application d'anal…

Fabienne Lathuiliere