APPRENTISSAGE DE REPRÉSENTATIONS MULTIMODALES POUR LA SÉMANTISATION DES PARAMÈTRES DU MOUVEMENT

par Karim Radouane

Projet de thèse en Informatique

Sous la direction de Sylvie Ranwez.

Thèses en préparation à l'IMT Mines Alès , dans le cadre de École Doctorale Information, Structures, Systèmes , en partenariat avec EuroMov Digital Health in Motion (laboratoire) et de I3A - Informatique, image, intelligence artificielle (equipe de recherche) depuis le 01-11-2020 .


  • Résumé

    Le mouvement humain est régi par un ensemble complexe de mécanismes, et fait partie intégrante de la vie de chacun, que ce soit pour communiquer, travailler, produire de l'art ou encore pour s'adonner à des activités physiques. Comprendre ces mécanismes ainsi que l'influence du contexte (physique, sociétal, culturel) sur la signification ou la description du mouvement, est essentielle pour nombre d'applications liées à l'analyse du mouvement : de la conception de représentations artistiques, à la rééducation fonctionnelle, ou encore l'optimisation de la performance sportive, par exemple. Dans ce projet de thèse, nous souhaitons étudier comment contextualiser et donner du sens aux paramètres du mouvement, qu'ils soient directs (coordonnées de points de référence) ou non (signaux neurophysiologiques) en les croisant avec des modèles de connaissances (taxonomies, ontologies) de domaine et/ou des modèles de langage contextualisés (plongements de graphes et modèles Transformers pré-entraînés) grâce à la mise en œuvre de techniques d'apprentissage de représentations multimodales profondes. Nous envisageons des applications à l'optimisation de la performance sportive et au diagnostic de pathologies du mouvement (maladie de Parkinson, lombalgie).

  • Titre traduit

    MULTI-MODAL REPRESENTATION LEARNING FOR THE SEMANTIC INTERPRETATION OF PARAMETRIC MOVEMENT REPRESENTATIONS


  • Résumé

    Human movement is central to the human experience, whether for survival, communication, work, art or for exercise, yet it is governed by complex mechanics that aren't fully understood, especially when movement is considered in a broader context (physical, social, cultural). Understanding these complex mechanics and well as the interplay between the context and the meaning or description of a movement is central to numerous applications pertaining to the analysis of movement, for instance, the creation of artistic performances, the optimization of sport performance or functional movement reeducation. With this PhD we wish to further study how to contextualize and give meaning to movement parameters, whether they are direct parameters (coordinates of reference points over time) or indirect parameters (neurophysiological signals), with domain knowledge models (movement taxonomies or ontologies with graph embeddings) and/or pre-trained deep language models, within a representation learning paradigm. We envision applications to the optimization of sports performance and the diagnosis of movement pathologies (Parkinson's, low-back pain).