Co-apprentissage Humain-Machine : génération interactive de curriculum pour l'acquisition de compétences motrices

Human-Machine Co-Learning : interactive curriculum generation for the acquisition of motor skills

• Auteur / Autrice : Vaynee Sungeelee
• Direction : Baptiste Caramiaux
• Type : Thèse de doctorat
• Discipline(s) : Automatique et robotique
• Date : Soutenance le 27/09/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Frédéric Bevilacqua
• Jury : Examinateurs / Examinatrices : Jean-Claude Martin
• Jury : Rapporteurs / Rapporteuses : Wendy Mackay, Laura Marchal-Crespo
• DOI : 10.70675/0fd09746zc195z4bbdzb16ezfe80df8dce3f

Mots clés

Mots clés contrôlés

Interaction humain-machine

Apprentissage moteur

Apprentissage automatique

Co-adaptation (informatique)

Mots clés libres

Co-apprentissage

Apprentissage moteur

Apprentissage adaptatif

Apprentissage de curriculum

Machine learning interactif

Co-learning

Motor skills learning

Adaptive learning

Curriculum-based learning

Interactive Machine Learning

Résumé

L'acquisition de compétences motrices est le processus par lequel une personne est capable d'exécuter un mouvement avec plus de précision. Dans ce contexte, la pratique joue un rôle déterminant ; elle contribue à améliorer les performances de l'apprenant, mais n'y est pas toujours adapté. Un moyen de personnaliser l'apprentissage est de créer des séquences d'apprentissage qui conviennent à l'apprenant. Cependant, créer ces séquences manuellement demande du temps, ce qui rend cette démarche peu pratique. La génération automatique de séquences d'apprentissage peut remédier à ce problème. Les stratégies adaptatives qui structurent l'entraînement, c'est-à-dire la séquence de tâche à effectuer, en tenant compte de la difficulté de la tâche et du niveau de compétence de l'individu ont ainsi le potentiel d'améliorer l'apprentissage moteur. Ce double processus d'apprentissage par une machine de la séquence adaptée à un apprenant humain est ce que nous appelons le co-apprentissage. Dans cette thèse, nous abordons le co-apprentissage humain-machine dans le cas de l'apprentissage moteur, c'est-à-dire où les séquences d'apprentissage sont apprises en même temps que l'humain apprend à faire la tâche motrice.Les algorithmes de Machine Learning sont capables d'analyser les tendances d'apprentissage de chaque apprenant et ainsi adapter les consignes d'entraînement en fonction de ses besoins. Ils peuvent aussi être utilisés pour contrôler une interface homme-machine, dans un contexte où l'humain apprend à adapter ses mouvements (par exemple, pour apprendre à contrôler une prothèse). Dans cette thèse, le Machine Learning est utilisé afin de faciliter l'acquisition d'habiletés motrices. Cependant, une approche fondée sur le Machine Learning se heurte à de nombreuses exigences : (i) peu de données sont disponibles pour entraîner les algorithmes, (ii) la nature interactive du système implique un entraînement de courte durée (iii) l'efficacité des algorithmes dépend d'une évaluation précise du niveau de compétence de l'apprenant, qui est difficile à mesurer en pratique et (iv) le degré de contrôle que l'humain exerce sur l'entraînement du modèle de Machine Learning peut impacter comment l'humain apprend la tâche et construit un modèle mental lui permettant de prévoir le comportement du système.Les objectifs de cette thèse s'articulent autour de deux axes principaux:(i) élaborer une stratégie pour structurer l'apprentissage de tâches motrices (ii)) étudier les systèmes interactifs capables de s'adapter à, mais aussi d'être instruits par l'apprenant, pour optimiser les performances motrices. À travers deux études, nous explorons différentes stratégies d'élaboration de programmes d'apprentissage pour effectuer des tâches motrices. Dans la première étude, nous évaluons la précision et la fluidité du mouvement lors de l'exécution d'une tâche visuo-motrice. La seconde étude explore le contrôle de prothèse fondé sur la technique de reconnaissance de formes. Elle évalue à la fois la précision de reconnaissance des gestes par un algorithme de Machine Learning et la compréhension du système par les participants.Nos résultats contribuent aux travaux dans le domaine de l'apprentissage adaptatif des habiletés motrices ainsi qu'à l'interaction humain-machine. Ils démontrent qu'adapter les tâches motrices à l'apprenant présente des avantages en termes de performance des participants et de leur compréhension du système. Ces résultats offrent des perspectives pour créer des protocoles d'entraînement et faciliter leur implémentation dans un contexte appliqué.

Motor skill acquisition is the process by which someone is able to perform a movement more accurately. In this context, practice plays a crucial role. However, practice is not always adapted to each learner's needs and learning journey. Generating personalised instructions manually is time-consuming and therefore impractical. Creating personalized practice sessions automatically is one way to alleviate this problem. Adaptive strategies that structure training, i.e. , the sequence of tasks executed, according to task difficulty and skill level have the potential to improve motor learning for the individual. This dual process of a machine learning the sequence adapted to a human learner and the human learning from the machine, is what we call co-learning. In this thesis, we study human-machine co-learning in the context of motor learning, i.e., learning sequences are generated at the same time as the human learns to perform the motor task.Machine learning algorithms can analyze the learning tendencies of individual learners and adapt training instructions accordingly. They can also be used to control a human-machine interface, during which humans learn to adapt their movements (e.g. prosthesis control). In this thesis, we leverage Machine Learning to facilitate the acquisition of motor skills. However, the use of Machine Learning to achieve this goal involves challenges : (i) few data is available to train the algorithms, (ii) the interactive nature of the system requires rapid training of machine learning algorithms. (iii) the effectiveness of the algorithms depends on a precise assessment of the learner's skill level, which is difficult to measure in practice and (iv) the degree of control provided to humans when training the machine learning model can impact their learning and the way they build a mental model to predict the system's behavior.The aims of this thesis are twofold: (i) to develop a strategy for structuring the learning of motor tasks (ii) to study interactive systems that can adapt to and be adapted by the learner to provide guidance during practice. Through two studies, we explore different strategies to sequence motor learning tasks. In the first study, we evaluate the accuracy and smoothness of movement execution during the performance of a visuo-motor task. The second study explores how to train a machine learning algorithm in a prosthesis control task. We evaluate both the recognition accuracy of gestures provided by participants as well as participants' understanding of the system.Our results contribute to the field of adaptive learning of motor skills and Human-Computer Interaction. They demonstrate that adapting motor tasks to the learner has advantages in terms of participants' performance and understanding of the task. These results provide insights for creating training protocols and facilitating their transition to applied contexts.