Apprentissage automatique à partir de traces multi-sources hétérogènes pour la modélisation de connaissances perceptivo-gestuelles

Automatic knowledge acquisition from multisource heterogeneous traces for perceptual-gestural knowledge modeling

• Auteur / Autrice : Ben-Manson Toussaint
• Direction : Vanda Luengo
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/10/2015
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Jury : Président / Présidente : Catherine Garbay
• Jury : Examinateurs / Examinatrices : Evens Emmanuel, Sébastien George, Manuel Lopes
• Jury : Rapporteurs / Rapporteuses : Agathe Merceron, Roger Nkambou

Mots clés

Mots clés contrôlés

Exploration de données

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Intelligence Artificielle

Apprentissage Automatique

Systèmes Tutoriels Intelligents

Environnements Informatiques pour l’Apprentissage Humain

Modélisation de connaissances perceptivo-Gestuelles

Data Mining

Artficial Intelligence

Machine Learning

Intelligent Tutoring Systems

Technology-Enhanced Learning

Perceptual-Gestural knowledge modeling

Datamining

Résumé

Les connaissances perceptivo-gestuelles sont difficiles à saisir dans les Systèmes Tutoriels Intelligents. Ces connaissances sont multimodales : elles combinent des connaissances théoriques, ainsi que des connaissances perceptuelles et gestuelles. Leur enregistrement dans les Systèmes Tutoriels Intelligents implique l'utilisation de plusieurs périphériques ou capteurs couvrant les différentes modalités des interactions qui les sous-tendent. Les « traces » de ces interactions –aussi désignées sous le terme "traces d'activité"- constituent la matière première pour la production de services tutoriels couvrant leurs différentes facettes. Les analyses de l'apprentissage ou les services tutoriels privilégiant une facette de ces connaissances au détriment des autres, sont incomplets. Cependant, en raison de la diversité des périphériques, les traces d'activité enregistrées sont hétérogènes et, de ce fait, difficiles à modéliser et à traiter. Mon projet doctoral adresse la problématique de la production de services tutoriels adaptés à ce type de connaissances. Je m'y intéresse tout particulièrement dans le cadre des domaines dits mal-définis. Le cas d'étude de mes recherches est le Système Tutoriel Intelligent TELEOS, un simulateur dédié à la chirurgie orthopédique percutanée. Les propositions formulées se regroupent sous trois volets : (1) la formalisation des séquences d'interactions perceptivo-gestuelles ; (2) l'implémentation d'outils capables de réifier le modèle conceptuel de leur représentation ; (3) la conception et l'implémentation d'outils algorithmiques favorisant l'analyse de ces séquences d'un point de vue didactique.

Perceptual-gestural knowledge is multimodal : they combine theoretical and perceptual and gestural knowledge. It is difficult to capture in Intelligent Tutoring Systems. In fact, its capture in such systems involves the use of multiple devices or sensors covering all the modalities of underlying interactions. The "traces" of these interactions -also referred to as "activity traces"- are the raw material for the production of key tutoring services that consider their multimodal nature. Methods for "learning analytics" and production of "tutoring services" that favor one or another facet over others, are incomplete. However, the use of diverse devices generates heterogeneous activity traces. Those latter are hard to model and treat.My doctoral project addresses the challenge related to the production of tutoring services that are congruent to this type of knowledge. I am specifically interested to this type of knowledge in the context of "ill-defined domains". My research case study is the Intelligent Tutoring System TELEOS, a simulation platform dedicated to percutaneous orthopedic surgery.The contributions of this thesis are threefold : (1) the formalization of perceptual-gestural interactions sequences; (2) the implementation of tools capable of reifying the proposed conceptual model; (3) the conception and implementation of algorithmic tools fostering the analysis of these sequences from a didactic point of view.