Teaching analytics : support à l’évaluation et l’assistance à la conception pédagogique par l’intelligence artificielle

Teaching analytics : support for the evaluation and assistance in the design of teaching through artificial intelligence

• Auteur / Autrice : Ibtissem Bennacer
• Direction : Sébastien Iksal, Rémi Venant
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/12/2022
• Etablissement(s) : Le Mans
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Université du Mans - Laboratoire d'Informatique de l'Université du Mans / LIUM
• Jury : Président / Présidente : Vanda Luengo
• Jury : Examinateurs / Examinatrices : Jean-Marie Gilliot
• Jury : Rapporteurs / Rapporteuses : Thibault Carron, Christine Michel

Mots clés

Mots clés contrôlés

Ingénierie pédagogique

Analyse des données

Plateformes d'apprentissage en ligne

Enseignants -- Auto-évaluation

Enseignants -- Formation

Mots clés libres

Teaching Analytics

Système de gestion de l'apprentissage

Auto-évaluation

Analyse de données

Clustering

Recommandation

Teaching Analytics

Learning Management System

Self-evaluation

Data analysis

Clustering

Recommendation

Résumé

Cette thèse s'inscrit dans le cadre de l'utilisation des Teaching Analytics pour analyser les comportements des enseignants et les assister dans l'utilisation des systèmes de gestion de l'apprentissage (LMS). Notre objectif est d'exploiter ce domaine afin d'aider les enseignants à évaluer leurs comportements sur leur LMS. In fine, nous souhaitons doter les enseignants d'outils leur permettant de s'engager eux-mêmes dans des situations d'apprentissage visant à améliorer leurs utilisations du LMS, et de soutenir ces situations par le biais de feedbacks et d'un support à l'apprentissage par les pairs. Afin d'atteindre cet objectif, nous avons investigué trois questions de recherche: (i) Comment aider les enseignants à prendre conscience de leur propre situation et à s'auto-évaluer sur l'utilisation de leurs LMS ?, (ii) Comment aider les enseignants à enrichir leur utilisation du LMS institutionnel ? et enfin (iii) Comment fournir aux enseignants et aux ingénieurs pédagogiques un outil de soutien mieux adapté à leurs besoins ?Pour répondre à nos questions de recherche, nous avons conçu un modèle d’évaluation sur la base (i) d'une analyse qualitative à partir d'entretiens que nous avons eus avec plusieurs ingénieurs pédagogiques et (ii) d'une analyse quantitative que nous avons réalisée sur trois années d'activités d'enseignants sur le LMS de l'Université. Ces deux études ont été exploitées conjointement pour concevoir un modèle explicable qui catégorise l'utilisation de la plateforme par les enseignants et ainsi permettre à ces derniers d'évaluer leurs pratiques selon plusieurs aspects (i.e., axes du modèle: évaluation, réflexion, communication, collaboration, ressources, interactivité et gamification). À partir de ce modèle, nous avons conçu un premier indicateur de TA, la tendance d'utilisation du LMS. Fondé sur une analyse en clustering afin d'identifier des groupes d'enseignants ayant une utilisation particulière selon chaque axe, celui-ci offre un moyen de fournir un support à l'awareness sociale. Dans une perspective d'un support à l'awareness individuelle, deux autres indicateurs viennent fournir un moyen simple d'évaluer sa pratique. Toujours dans le contexte des axes du modèle, nous avons donc proposé des scores pour exprimer (i) la curiosité de l'enseignant (la variété de l'utilisation de la plateforme indépendamment du temps) et (ii) l'homogénéité d'utilisation des différentes facette du LMS (la régularité de l'utilisation des différentes fonctionnalités relatives à un axe).Nous avons par la suite proposé 3 systèmes de recommandation s'appuyant sur ce modèle et ces indicateurs visant à aider les enseignants à améliorer leurs pratiques dans le LMS de l'université. Un premier système de recommandation s'attache à proposer les fonctionnalités inexploitées par l'enseignant selon chaque axe afin de les motiver dans leur découverte et de les aider à améliorer la conception de leurs cours. Un second système de recommandation d'ingénieurs pédagogique simple a été mis en place pour faciliter la mise en place d'un dialogue entre l'enseignant et ces derniers. Enfin, un système de recommandation hybride a été élaboré pour permettre aux enseignants de recevoir des recommandations de pairs. Celui-ci sélectionne les collègues qui présentent de meilleures valeurs métriques selon l'axe du modèle choisi, qui ne sont pas déjà sur-recommandés, et qui sont les plus proches physiquement et thématiquement. Nous avons ensuite adopté une approche centrée utilisateur afin de valider le modèle comportemental que nous avons conçu préalablement et de pouvoir l'instrumenter de la façon la plus appropriée à l'enseignant. Par conséquent, la première version fonctionnelle de notre application de soutien iTeachApp a été développée pour (i) fournir aux premiers des fonctionnalités d'auto-évaluation et de recommandations, et (ii) permettre aux seconds de détecter les enseignants ayant des besoins spécifiques.

The present thesis is focused on the use of Teaching Analytics to analyze teachers' behaviors and assist them in using Learning Management Systems (LMS). Teaching Analytics (TA) refers to methods and tools to help teachers to analyze and improve their pedagogical designs, and more recently, to analyze the way they deliver their lessons. Our goal is to exploit this area of Teaching Analytics to help teachers to evaluate their behavior on their institutional LMS. In fine, we aim at providing teachers with personal and social awareness tools, allowing them to engage in learning situations that aim at improving their use of the LMS, and to support these situations with automatic feedback and peer learning. To achieve this goal, we designed an evaluation model based on (i) a qualitative analysis from interviews we had with several pedagogical engineers and (ii) a quantitative analysis we conducted on three years of teachers' activities on the University's LMS. The behavioral model we designed describes teachers' practices on the LMS through six major axes: evaluation, reflection, communication, resources, collaboration, as well as interactivity and gamification. Thereafter, we defined two TA metrics : LMS usage trend and usage scores. The first one allows us to find groups of teachers with a particular usage according to each axis (intensive usage, non-intensive usage). To complete the results of the latter indicator, we propose usage scores. We have therefore proposed two scores to express particularities of use such as curiosity or homogeneity of each teacher in order to provide a rich support for self-evaluation. We also proposed 3 recommender systems to help teachers to improve their practices in the university's LMS. A first recommendation system allows to propose features not used by the teacher according to each axis in order to motivate them to discover these functionalities and to help them to improve the design of their courses. A second simple recommender system has been proposed to facilitate teachers' contact with pedagogical engineers in case of need. Finally, a hybrid recommender system was developed to allow teachers to receive recommendations from their peers. The last phase of our methodology consists in instrumentalizing the obtained results, through a user-centered approach, in a support tool named iTeachApp that includes dashboards allowing to visualize information on teachers' behavior and recommendations.iTeachApp is a web application dedicated to teachers and pedagogical engineers to (i) provide the former with self-assessment and recommendation functionalities, and (ii) allow the latter to detect teachers with specific needs and teachers with an expert profile. It has been experimented at our university to study its usability, utility and appropriation by teachers. The results showed that teachers were interested in adopting iTeachApp and found our proposals relevant. However, this experimentation revealed a lack of understanding of various terms we used. At the same time, it provided insights to improve our application and proposals (model, indicators and recommendations).