Modèle SOA sémantique pour la multimodalité et son support pour la découverte et l'enregistrement de services d'assistance

A SOA model, semantic and multimodal, for the discovery and registration of assistance services

• Auteur / Autrice : Bertha Helena Rodriguez
• Direction : Isabelle Demeure, Jean-Claude Moissinac
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance le 01/02/2013
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Joëlle Coutaz
• Jury : Examinateurs / Examinatrices : Philippe Roose
• Jury : Rapporteurs / Rapporteuses : Yacine Bellik, Laurence Nigay

Mots clés

Mots clés contrôlés

SOA

Systèmes homme-machine

Web sémantique

Ontologies (informatique)

Mots clés libres

Interactions homme-machine (IHM)

Interaction multimodale

Architecture orientée services

Human-computer interaction (HCI)

Multimodal interaction

Service-oriented architecture (SOA)

Résumé

Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantique.

Unimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services