Design et compréhension des systèmes enseignables intéractifs

par Téo Sanchez

Projet de thèse en Informatique

Sous la direction de Wendy Mackay.

Thèses en préparation à université Paris-Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication , en partenariat avec Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....) (laboratoire) , EX-SITU (equipe de recherche) et de Faculté des sciences d'Orsay (référent) depuis le 01-09-2018 .


  • Résumé

    Dans le domaine des interactions humain-machine (IHM), on peut observer un intérêt croissant pour l'utilisation d'outils d'apprentissage machine pour l'aide à la conception et la personnalisation de systèmes interactifs et ceci dans un grand nombre de cas d'applications. L'intérêt de ces méthodes est de permettre de concevoir des systèmes à partir d'exemples d'utilisation (ou données d'usage) plutôt que d'une programmation explicite (souvent laborieuse et rigide ) ce qui rend possible l'exploration et la découverte. Les systèmes conçus s'adaptent aux utilisateurs, mais aussi permettre à l'utilisateur d'adapter explicitement le système à ses besoins, et ainsi de s'améliorer dans certaines tâches. À Ex-Situ, cette approche a particulièrement été explorée dans les domaines créatifs experts comme en musique et plus récemment dans des systèmes interactifs adaptatifs d'aide à l'apprentissage, où le besoin de personnalisation est fondamental. Cependant, bien que ce nouveau paradigme gagne en intérêt dans la communauté IHM, cette approche n'a été testée qu'avec des méthodes d'apprentissage machine simples (par exemple SVM, kNN, GMM ), c'est à dire limitées dans leur capacité expressive. En parallèle, dans la communauté d'apprentissage machine et intelligence artificielle, de nouvelles méthodes plus expressives ont récemment vu le jour, particulièrement celles qui utilisent l'apprentissage profond. Le défi actuel est de permettre l'interactivité avec de tels modèles. L'objectif de cette thèse est de proposer des techniques d'apprentissage interactives dans des modèles expressifs, où l'humain peut intervenir dans l'apprentissage et où les modèles peuvent donner des retours, guider ou questionner l'utilisateur. D'un point de vue applicatif, l'objectif est d'étudier l'impact de l'apprentissage machine interactif sur l'acquisition d'expertise de l'utilisateur dans des tâches complexes et expertes, comme la pratique musicale.

  • Titre traduit

    Design and understanding of teachable interactive systems


  • Résumé

    In the field of human-machine interaction (HMI), there is a growing interest in the use of machine learning tools to help design and customize interactive systems in a large number of applications. The interest of these methods is to allow systems to be designed based on examples of use (or usage data) rather than explicit programming (often laborious and rigid). In turn, such approach makes exploration and discovery possible. The designed systems are able to adapt to the users, but also allow the user to explicitly adapt the system to her needs, fostering creativity and skill learning. At Ex-Situ, this approach has been particularly explored in expert creative fields such as music and more recently in adaptive interactive learning-support systems, where expertise plays a central role and the need for personalization is fundamental. However, although this new paradigm is gaining interest in the HMI community, this approach has only been tested with simple machine learning methods (e.g. SVM, kNN, GMM), i.e. limited in their expressive capacity. In parallel, in the machine learning and artificial intelligence community, more expressive methods have recently emerged, particularly those based on deep learning architectures. The current challenge is to enable interactivity with such models in order to combine expressive computational models with human-centred needs and expertise. The objective of this thesis is to propose interactive learning techniques in expressive models, where the human can intervene in the learning and where the models can give feedback, guide or question the user. From an application point of view, the objective is to study the impact of interactive machine learning on the acquisition of user expertise in complex and expert tasks, such as musical practice.