Analyse contextuelle des gestes de désignation en dialogue homme-machine

par Frédéric Wolff

Thèse de doctorat en Informatique

Sous la direction de Laurent Romary.

Soutenue en 1999

à Nancy 1 .


  • Résumé

    L'interface Homme-Machine multimodale se présente comme un partenaire de communication capable de s'adapter au langage naturel de l'utilisateur contrairement aux interfaces classiques face auxquelles il doit s'adapter aux capacités communicatives de la machine. Cependant la plupart des travaux se sont pour le moment consacrée à l'aspect oral de la communication multimodale, limitant la gestuelle du locuteur à des signes simplistes et stéréotypées comme le pointage. Cette étude s'occupe au contraire de modéliser les gestes de désignation naturels pouvant apparaître dans ces dialogues. Les travaux de psychologie de l'action nous enseignent que la gestuelle est un moyen de communication à la fois important et omniprésent dans les dialogues Homme-Homme. Ces théories nous montrent le rôle primordial que joue la perception dans la définition, le contrôle et l'interprétation des gestes. Nos travaux s'occupent de préciser les relations perception-action par une étude expérimentale reposant sur le principe des expériences de magicien d'Oz afin d'explorer l'action gestuelle dans le cadre spécifique des interfaces multimodales. Un logiciel original de traitement de tels expériences a été développé afin de collecter des données spatiales et temporelles plus précises que les données habituellement recueillies. L'étude de ce corpus a montré que l'expression notamment gestuelles est fortement déterminée par le contexte perceptif. Un modèle d'analyse des gestes en contexte perceptif est ainsi proposé, qui permet de faire face aux nombreuses sources de variabilité et d'ambiguïtés des trajectoires. Les principes d'affordances ou encore de la Gestalttheorie mis en oeuvre et issus de la psychologie, permettent d'initier un rapprochement entre perception et action, par là-même de replacer le geste dans son cadre de production.


  • Pas de résumé disponible.


  • Résumé

    Usual interfaces suppose the user to translate his intention into machine language, i. E. Software commands. On the contrary, multimodal Human-Computer interfaces appear to the user as a communication partner able to adapt to his expression. However, almost ail works are devoted to the verbal aspect of human expression, and limit gesture to simple and stereotypic forms like pointings. This study is aimed at modelling natural referring gestures appearing in multimodal dialogues. Indeed, psychological works indicate the importance and omnipresence of gestures in Human-Human communication. Moreover, these approaches reveal the role of prime importance played by perception to prepare, produce, control and interpret gestures. Our work investigates the relations between perception and action on the basis of empirical date collected through a Wizard of Oz experiment. A dedicated experimentation soft-ware has been especially developed to record and study spatial and temporal dialogue features in more accurate way than usual data. The corpus study has shown the strong influence of perceptual context on multimodal expression and in particular on gesture. On this conclusion, a perception oriented contextual gesture analysis has been developed allowing to face wilh the numerous variability and ambiguity sources. Psychological principles as affordances and the Gestalttheorie laws introduced in our approach allow us to narrow perception and referring action, and 50 to put action back in its perceptual context of production.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (XIV-204 p.)
  • Annexes : Réf. bibliogr. p. 193-204

Où se trouve cette thèse ?

  • Bibliothèque : Université de Lorraine (Villers-lès-Nancy, Meurthe-et-Moselle). Direction de la Documentation et de l'Edition - BU Sciences et Techniques.
  • Disponible pour le PEB
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.