Étude ergonomique de contraintes d'expression orales et gestuelles dans un environnement multimodal d'interaction homme-machine

par Sandrine Robbe

Thèse de doctorat en Informatique

Sous la direction de Noëlle Carbonell.

Soutenue en 1998

à Nancy 1 .


  • Résumé

    Depuis quelques années, l'évolution des interfaces utilisateurs s'est accélérée grâce notamment aux avancées technologiques dans les domaines de la reconnaissance et de l'interprétation du geste et de la parole qui permettent d'envisager l'implémentation d'interfaces homme-machine autorisant l'usage quasi-naturel d'expressions multimodales. Cependant, plusieurs études ont montré que la communication humaine ne semblait pas présenter un modelé fiable pour l'interaction homme-machine. De plus, la réalisation de telles interfaces se heurtent également à des problèmes d'ordre technique, les systèmes de reconnaissance et d'interprétation de la langue naturelle et du geste posant de nombreux problèmes non résolus actuellement. La solution consiste donc à mettre en place des interfaces homme-machine imposant aux utilisateurs des contraintes d'expression multimodale compatibles avec, d'une part, l'expression spontanée des utilisateurs et d'autre part les limitations des systèmes de reconnaissance et d'interprétation actuels. Mon travail de thèse s'inscrit dans ce cadre puisqu'il vise à définir des contraintes d'expression acceptables par les utilisateurs ainsi que des règles ergonomiques utiles aux concepteurs des futures interfaces homme-machine. Pour cela, nous avons choisi d'étudier deux groupes de sujets interagissant avec une application simulée permettant l'usage spontané (E1) ou contraint (E2) du geste et de la parole. Les erreurs d'expression commises par les sujets de E2 et l'usage de la multimodal ite ont été étudiés dans le but de valider le langage de commandes multimodales défini pour cette expérience. Nous avons pu remarquer, d'une part, que des contraintes linguistiques seront facilement assimilées par les utilisateurs si la composante orale du langage de commandes multimodales est un sous-ensemble de la langue naturelle préservant le pouvoir d'expression nécessaire à l'interaction et n'imposant que peu de restrictions sémantiques à l'utilisateur. De telles contraintes peuvent même avoir des effets bénéfiques sur l'expression des utilisateurs. D’autre part, lors de E2, nous avons pu constater un faible usage de la multimodalité ainsi qu'une diminution de la parole au profit d'un usage monomodal du geste, celui-ci servant notamment de modalité de recours lors de l'échec de la reconnaissance vocale.

  • Titre traduit

    Ergonomic study of oral and gestural expression constraints in a multimodal human-computer interaction environment


  • Pas de résumé disponible.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (204 p.)
  • Notes : Publication autorisée par le jury.
  • Annexes : 127 références

Où se trouve cette thèse ?

  • Bibliothèque : Université de Lorraine (Villers-lès-Nancy, Meurthe-et-Moselle). Direction de la Documentation et de l'Edition - BU Sciences et Techniques.
  • Disponible pour le PEB
  • Bibliothèque : Centre de recherche INRIA Nancy - Grand Est (Villers les Nancy). Service Information et Edition Scientifiques.
  • PEB soumis à condition
  • Cote : ROBBE e
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.