Colloque

Réseaux ART et reconnaissance audiovisuelle de phonèmes

Harouna Kabré

Jean Caelen

Membre a labase

Harouna Kabré

Résumé du colloque

Les réseaux ART (Adaptive Resonance Theory) constituent une famille de réseaux connexionnistes capables d'oublier sélectivement certaines catégories et d'en apprendre de nouvelles. Le travail présente concrètement leur application à la reconnaissance de phonèmes de 10 voyelles du français dans des conditions difficiles (milieu bruité). Le signal acoustique est analysé par la méthode LPC (Perceptual Linear Predictive) et l'image faciale du locuteur filmée est traitée pour extraire des paramètres caractéristiques. L'ouverture des lèvres est analysée par un contour actif. L'information auditive et visuelle à la reconnaissance des différentes voyelles est fusionnée. Nos résultats ont montré que le taux de reconnaissance atteint de 60 à 95% pour un rapport signal à bruit compris entre -6 et 18 dB. Ils ont aussi montré que les voyelles ouvertes bénéficient plus de l'apport de l'information visuelle (55% sont corrigées contre 45% pour les voyelles fermées). Les mêmes résultats sont observés lorsque le paramètre de vigilance du réseau est augmenté. Dans une deuxième expérience, le degré de flou du réseau est contrôlé en essayant différentes valeurs de lissage. Cela nous a permis d'améliorer la robustesse de la méthode en réduisant l'erreur globale dans un large domaine de bruit.