Modélisation profonde espace-état pour la représentation explicable, l'analyse et la prédiction des dynamiques du corps humain dans la compréhension de la dextérité et l'ergonomie computationnelle

Deep state-space modeling for explainable representation, analysis, and forecasting of professional human body dynamics in dexterity understanding and computational ergonomics

• Auteur / Autrice : Brenda Olivas Padilla
• Direction : Sotiris Manitsaris
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Soutenance le 17/03/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Amel Bouzeghoub
• Jury : Examinateurs / Examinatrices : Sotiris Manitsaris, Nasser Rezzoug, Bill V. Baltzopoulos, Brigitte d' Andréa-Novel, Patrick Hénaff, Frédéric Bevilacqua, Alina Glushkova
• Jury : Rapporteurs / Rapporteuses : Nasser Rezzoug, Bill V. Baltzopoulos

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage supervisé (intelligence artificielle)

Capture de mouvements

Interaction homme-robot

Mots clés libres

Analyse automatique du mouvement

Modélisation du mouvement humain

Modèles d'espace d'état

Apprentissage profond

Capture du mouvement

Automatic movement analysis

Human motion modeling

State-Space modeling

Data-Driven learning

Motion capture

Résumé

L'analyse des mouvements humains a été étudiée de manière approfondie dans le passé en raison de sa grande variété d'applications pratiques, telles que l'interaction homme-robot, les applications d'apprentissage humain, le diagnostic clinique et la surveillance des activités humaines. Néanmoins, l'état de l'art reste confronté à des défis scientifiques lors de la modélisation des mouvements humains. D'abord, pour modéliser la dynamique spatiale et temporelle des mouvements humains et prédire avec précision l'évolution des descripteurs de mouvement, il faut considérer la stochasticité des mouvements humains et la structure physique du corps. Ensuite, l'explicabilité des algorithmes d'apprentissage profond existants concernant leurs prédictions doit encore être améliorée car ils manquent pour la plupart de représentations du mouvement humain compréhensibles par les humains. Par conséquent, cette thèse étudie et présente des méthodes d'apprentissage machine pour l'analyse automatique et la représentation du mouvement humain. Le mouvement humain est formulé comme un modèle d'espace d'état d'un système dynamique dont les paramètres sont estimés à partir d'algorithmes d'apprentissage profond et de statistiques. Les modèles adhèrent à la structure du Gesture Operational Model (GOM), qui intègre des hypothèses sur la dynamique spatiale et temporelle dans la représentation mathématique du mouvement humain. Deux nouveaux modèles profonds d'espace d'état sont présentés, qui modélisent une variété de mouvements humains à partir d'une paramétrisation non linéaire et fournissent des prédictions interprétables en utilisant la représentation GOM. La troisième méthode estime les représentations GOM en utilisant l'estimation par maximum de vraisemblance avec des filtres de Kalman. Contrairement aux modèles d'état profond, l'approche statistique est suffisamment précise pour produire des mouvements humains précis en utilisant des procédures d'entraînement simples qui nécessitent moins de puissance de traitement que les méthodes d'apprentissage profond.Enfin, deux applications des modèles créés sont décrites. La première est destinée à l'analyse de la dextérité des mouvements professionnels, où les associations dynamiques entre les articulations du corps et les descripteurs de mouvement significatifs sont identifiées. La seconde application concerne la réalisation d'une méthodologie de délégation de tâches pour optimiser l'ergonomie des structures de collaboration humain-robot.

The analysis of human motions has been extensively studied in the past due to its wide variety of practical applications, such as human-robot interaction, human learning applications, clinical diagnosis, and monitoring of human activities. Nevertheless, the state-of-the-art still faces scientific challenges while modeling human motions. Firstly, to model the spatial and temporal dynamics of human motion and accurately predict the evolution of motion descriptors over time, the stochasticity of human motion and the physical body structure must be considered. Second, the explainability of existing deep learning algorithms regarding their predictions still needs to be improved as they lack human-comprehensible representations of human motion. This thesis studies and introduces machine learning approaches for the automatic analysis and representation of human motion. Human motion is formulated as a state-space model of a dynamic system whose parameters are estimated using deep learning and statistical algorithms. The models adhere to the structure of the Gesture Operational Model (GOM), which incorporates spatial and temporal dynamics assumptions in the mathematical representation of human motion. Two novel deep state-space models are presented that model a variety of human movements using nonlinear network parameterization and provide interpretable predictions using the GOM representation. The encoder-decoder structure of the models not only allows them to simulate full-body human motion, but also to disentangle variation factors across distinct movements, cluster related motion descriptors, and identify joint dynamics across sequences. The third method estimates GOM representations using Maximum Likelihood Estimation via Kalman Filters. In contrast to the deep state models, the statistical approach is sufficiently accurate to generate specific human motions utilizing one-shot training. This training strategy enables users to model single human motions and estimate their mathematical representation using simple procedures that require less computational power than data-driven methods. Finally, two applications of the generated models are described. The first is for dexterity analysis of professional movements, where dynamic associations between body joints and meaningful motion descriptors are identified. The second application is for implementing an ergonomically effective task delegation methodology to optimize human-robot collaboration frameworks.