Approche multimodale pour l'évaluation d'applications de communication innovantes

par Florentin Rodio

Thèse de doctorat en Ergonomie

Sous la direction de Joseph Maurice Christian Bastien.

Le président du jury était Eric Brangier.

Le jury était composé de Joseph Maurice Christian Bastien, Houcine Ezzedine, Charles Tijus, Stéphanie Buisine, Aline Chevalier.

Les rapporteurs étaient Houcine Ezzedine, Charles Tijus.


  • Résumé

    Le domaine des applications de communication a connu dernièrement de grands bouleversements, ce qui a conduit les chercheurs à suivre un nouveau paradigme d’évaluation, basé sur l’expérience utilisateur. Un grand nombre de méthodes de mesure ont ainsi été mises au point afin de la mesurer, mais demeurent immatures, voire contradictoires entre elles. C’est pourquoi un travail mérite d’être mené afin d’en augmenter la validité et la fiabilité. Ce travail de thèse s’est attaché donc à utiliser plusieurs de ces méthodes, de les combiner et les articuler selon différentes techniques afin d’améliorer la qualité de la mesure. Nous nous sommes appuyés pour cela sur un large spectre d’indicateurs, d’ordre physiologiques, comportementaux et auto rapportés et de deux stratégies de triangulation en particulier : multi-facettes et multi-mesures. Enfin, ces méthodes ont testées dans des cas d’application réels et selon une complexification croissante des procédures et traitements statistiques. Cela a donné lieu à trois études distinctes. La première a consisté à évaluer la pertinence d’un algorithme de recommandation de films face à son concurrent en utilisant une stratégie d’évaluation multi-facettes. Une deuxième étude a été élaborée afin de tester la pertinence de modèles d’évaluation multi-mesures, en évaluant l’utilisabilité de sites universitaires grâce à un logiciel de test utilisateur à distance (Evalyzer) et la combinaison multimodale de divers indicateurs d’utilisabilité. Enfin, une dernière étude a été réalisée afin de valider un protocole de mesure d’immersion multi-mesure (questionnaire, expression faciale, conductance de la peau, rythme cardiaque, comportement oculaire). Ces trois études nous ont permis d’évaluer la pertinence d’un certain nombre de mesures (d'utilisabilité et d’expérience utilisateur), la valeur ajoutée de certaines de leurs combinaisons, ainsi qu’un retour critique sur la procédure de validation multi-facettes utilisée dans cette thèse

  • Titre traduit

    Multimodal approach for evaluation of innovative communication application


  • Résumé

    The communication application domain has recently experienced some great changes. This shift has led researchers to follow a new evaluation paradigm, based on the user experience. This trend differs fundamentally from its predecessors by its holistic, subjective and positive nature. Many measurement methods have been developed to assess the user experience, but remain immature and even contradictory. Moreover, the basic nature of the user experience has led to the loss of reliability in the exercise of its measurement. This is why studies should be conducted in order to increase the validity and reliability of this new approach. The main aim of this research is to use several methods and to combine and articulate them using various techniques to improve the measurement quality. These studies was based on a broad spectrum of indicators (physiological, behavioral and self-reported) and two triangulation strategies in particular: multi-faceted and multi-measures. Finally, these methods were tested in real applied cases and under an increasing procedure complexity and statistical processing. This research has resulted in three separate studies. The first aims to evaluate the relevance of a movie recommendation algorithm against its competitor using a multifaceted evaluation strategy. A second study was designed to test the relevance of a multi-measures evaluation model by assessing the usability of university sites based on a remote user testing software (Evalyzer) and a multimodal combination of various indicators of usability. A final study was conducted to validate multi-measures immersion protocol (questionnaire, facial expression, skin conductance, heart rate, eye behavior). These three studies have highlighted the relevance of numerous measures (of usability and user experience), the added value of some of their combinations, as well as a critical return to the multi-facet validation procedure used in this thesis


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse ?

  • Bibliothèque : Université de Lorraine. Direction de la documentation et de l'édition. BU Ingénieurs.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.