Évaluation des moteurs de recherche exploratoire : élaboration d'un corps de méthodes centrées utilisateurs, basées sur une modélisation du processus de recherche exploratoire

par Emilie Palagi

Thèse de doctorat en Informatique

Sous la direction de Fabien Gandon.

Soutenue le 23-11-2018

à Côte d'Azur , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Sophia Antipolis, Alpes-Maritimes) , en partenariat avec Université de Nice (établissement de préparation) , Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) (laboratoire) , Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes) (laboratoire) , Web-Instrumented Man-Machine Interactions, Communities and Semantics (laboratoire) et de Eurecom [Sophia Antipolis] (laboratoire) .

Le président du jury était Pierre de Loor.

Le jury était composé de Pierre de Loor, Joseph Maurice Christian Bastien, Sylvie Catellin.

Les rapporteurs étaient Pierre de Loor, Joseph Maurice Christian Bastien.


  • Résumé

    Les moteurs de recherche exploratoire (MRE) sont des logiciels aidant les utilisateurs à explorer un domaine d’intérêt pour y faire des découvertes. Ces moteurs se distinguent en cela des moteurs de recherche classiques tels que Google, Bing ou Yahoo!, lesquels supportent plutôt des recherches ciblées ou recherches de consultation (lookup). Si l’on admet que l’évaluation des MRE vise à vérifier si ces derniers aident effectivement les utilisateurs à réaliser leur tâche d’exploration, on constate que les méthodes existantes d’évaluation de ces systèmes ne permettent pas réellement cette vérification. L’une des raisons à cela est que ces méthodes ne reposent pas sur un modèle approprié de la recherche exploratoire (RE) ou qu’elles restent accrochées à un modèle de la recherche de consultation. L’objectif principal de cette thèse est de proposer aux concepteurs de ces MRE des méthodes d’évaluation centrées utilisateurs reposant sur un modèle du processus de RE. Ainsi, après avoir modélisé le processus de RE, nous proposons deux méthodes d’évaluation qui peuvent être utilisées tout au long du processus de conception. La première méthode, une méthode d’inspection sans utilisateurs, peut être utilisée dès les premières maquettes, et repose sur des heuristiques de RE. Nous avons également proposé des outils facilitant l’utilisation de ces heuristiques : un formulaire en ligne ainsi qu’une extension Google Chrome appelée CheXplore. La seconde méthode, avec utilisateurs, peut être utilisée dès la première version d’un prototype fonctionnel. Cette méthode se présente comme une procédure de test utilisateur personnalisable. Dans cette thèse, nous nous intéressons plus particulièrement à deux éléments de cette procédure : un protocole d’élaboration de tâches de RE et une grille d’analyse d’enregistrements vidéo de session de RE. La pertinence du modèle ainsi que les méthodes qui en découlent ont été évaluées à l’occasion de tests utilisateurs. Le modèle, les heuristiques et le protocole d’élaboration des tâches de RE ont été validés. Les premières évaluations de la grille d’analyse d’enregistrements vidéos ont révélé des points à améliorer.

  • Titre traduit

    Evaluating exploratory search engines : designing a set of user-centered methods based on a modeling of the exploratory search process


  • Résumé

    Exploratory search systems are search engines that help users to explore a topic of interest. A shortcoming of current evaluation methods is that they cannot be used to determine if an exploratory search system can effectively help the user in performing exploratory search tasks. Indeed, the assessment cannot be the same between classic search systems (such as Google, Bing, Yahoo!...) and exploratory search systems. The complexity and the difficulty to have a consensus definition of the exploratory search concept and process are reflected in the difficulties to evaluate such systems. Indeed, they combine several specifics features and behaviors forming an alchemy difficult to evaluate. The main objective of this thesis is to propose for the designers of these systems (i.e. computer scientists) user-centered evaluation methods of exploratory search systems. These methods are based on a model of exploratory search process in order to help the evaluators to verify if a given system supports effectively the exploratory search process. Thus, after elaborating a model of exploratory search process, we propose two model-based methods, with and without users, which can be used all along the design process. The first method, without users, can be used from the first sketch of the system, consists of a set of heuristics of exploratory search and a procedure for using them. We also propose two tools facilitating their use: an online form format and an Google Chrome plugin, CheXplore. The second method involves real end-users of exploratory search systems who test a functional prototype or version of an exploratory search system. In this thesis, we mainly focus on two model-based elements of a customizable user testing procedure: a protocol for the elaboration of exploratory search tasks and a video analysis grid for the evaluation of recorded exploratory search sessions.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université Nice Sophia Antipolis. Service commun de la documentation. Bibliothèque électronique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.