Une approche pour l'ingénierie des systèmes interactifs critiques multimodaux et multi-utilisateurs : application à la prochaine génération de cockpit d'aéronefs

Engeeniring multimodal and multiuser critical interactive systems : application to the next aircrafts cockpits generation

• Auteur / Autrice : Martin Cronel
• Direction : Philippe Palanque
• Type : Thèse de doctorat
• Discipline(s) : Sureté de logiciel et calcul de haute performance
• Date : Soutenance le 18/10/2017
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Industrie aéronautique

Systèmes homme-machine

Multimédias interactifs

Mots clés libres

Interaction homme-machine

Architecture logicielle

Processus de développement

Human machine interaction

Sofware architecture

Development process

Résumé

Nos travaux contribuent au domaine de l'ingénierie des systèmes interactifs multimodaux critiques. Ils facilitent l'introduction de nouveaux périphériques (comme les tablettes multi-touch, les systèmes de reconnaissance de geste...) permettant l'interaction multimodale et multi-utilisateurs au sein des futurs cockpits. Pour le moment, les méthodes et les techniques de description des IHM (Interactions Homme Machine) existantes pour la conception des cockpits ne permettent pas de prendre en compte la complexité des techniques d'interaction multimodales. De leur côté, les méthodes de conception d'IHM grand public sont incompatibles avec les exigences de fiabilité et de certification nécessaires aux systèmes critiques. Les travaux proposent un modèle d'architecture logicielle et matérielle MIODMIT (Multiple Input Output devices Multiple Interaction Techniques) qui vise l'intégration de périphériques permettant l'usage de multimodalité au sein de systèmes critiques. Ce modèle décrit précisément les rôles de chacun des composants ainsi que les relations qu'ils entretiennent. Il couvre l'ensemble du spectre du système interactif multimodal qui va des périphériques d'entrée et leurs pilotes, vers les techniques d'interaction et l'application interactive. Il décrit aussi le rendu allant de l'application interactive aux périphériques de sortie en passant par les techniques complexes de présentation. Au-delà de sa capacité de description, ce modèle d'architecture assure la modifiabilité de la configuration du système (ajout ou suppression de périphériques au moment du design et de l'exécution). En outre, la modélisation des systèmes fait apparaitre qu'une partie importante du comportement est autonome c'est-à-dire qu'il évolue sans recevoir d'entrées produites par l'utilisateur. Les utilisateurs peuvent avoir du mal à comprendre et à anticiper ce genre de comportement autonome, qui peut engendrer des erreurs appelées automation surprises. Nous proposons une méthode d'évaluation à base de modèles des techniques d'interaction permettant d'analyser pour ensuite réduire significativement les erreurs d'utilisation liées à ces comportements inattendus et incompréhensibles. Enfin nous avons exploité le langage formel ICO (Interactive Cooperative Objects), pour décrire de façon complète et non ambiguë chacun des composants de l'architecture. Il est exploitable au moyen d'un outil d'édition et d'interprétation appelé Petshop, qui permet de faire fonctionner l'application interactive dans son ensemble (de l'entrée à la sortie). Nous avons complété cet environnement par une plateforme que nous avons appelée ARISSIM(ARINC 653 Standard SIMulator). Elle ajoute des mécanismes de sûreté de fonctionnement aux systèmes interactifs multimodaux développés avec Petshop. Plus précisément ARISSIM permet la ségrégation spatiale et la ségrégation temporelle des processus, ce qui accroît fortement la tolérance aux fautes durant l'exécution. Nos travaux proposent un socle aux équipes de conception pluridisciplinaires (principalement ergonomes spécialistes en IHM et développeurs) d'interaction homme-machine pour les systèmes critiques destinés aux cockpits d'aéronefs de prochaine génération.

The work of this thesis aims at contributing to the field of the engineering of interactive critical systems. We aim at easing the introduction of new input and output devices (such as touch screens, mid-air gesture recognition ...) allowing multi-user and multimodal interactions in next generation of aircraft’s cockpits. Currently, development process in the aeronautical filed is not compatible with the complexity of multimodal interaction. On the other side development process of wide spread systems cannot meet the requirements of critical systems. We introduce a generic software and hardware architecture model called MIODMIT (Multiple Input Output devices Multiple Interaction Techniques) which aim the introduction of dynamically instantiated devices, allowing multimodal interaction in critical systems. It describes the organization of information flux with a complete and non-ambiguous way. It covers the entire spectrum of multimodal interactive systems, from input devices and their drivers, to the specification of interaction techniques and the core of the application. It also covers the rendering of every software components, dealing with fission and fusion of information. Furthermore, this architecture model ensure the system configuration modifiability (i.e. add or suppress a device in design or operation phase). Furthermore, moralizing a system reveals that an important part of the interactive part is autonomous (i.e. not driven by the user). This kind of behavior is very difficult to understand and to foresee for the users, causing errors called automation surprises. We introduce a model-based process of evaluation of the interaction techniques which decrease significantly this kind of error. Lastly, we exploited ICO (Interactive Cooperative Objects) formalism , to describe completely and unambiguously each of the software components of MIODMIT. This language is available in an IDE (integrated development environment) called Petshop, which can execute globally the interactive application (from input/output devices to the application core). We completed this IDE with an execution platform named ARISSIM (ARINC 653 Standard SIMulator), adding safety mechanisms. More precisely, ARRISIM allows spatial segregation of processes (memory allocution to each executing partition to ensure the confinement of potential errors) and temporal segregation (sequential use of processor). Those adding increase significantly the system reliability during execution. Our work is a base for multidisciplinary teams (more specifically ergonoms, HMI specialist and developers) which will conceive future human machine interaction in the next generation of aircraft cockpits.