MAchine Learning et MOtion CApture pour l'analyse de la Langue des Signes

Machine Learning and Motion Capture for analyzing sign language

• Auteur / Autrice : Perrine Chassat
• Direction : Nicolas Brunel, Juhyun Park
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 19/10/2020
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : LaMME - Laboratoire de Mathématiques et Modélisation d'Evry
• Partenaire(s) de recherche : Equipe de recherche : Statistique pour la Génomique et la Génétique
• Partenaire(s) de recherche : référent : Université d'Évry Val d'Essonne

Mots clés

Mots clés libres

Analyse de Données Fonctionnelles

Machine Learning

Groupes de Lie

Analyse de trajectoires cinématiques

Langue des Signes

Deep Learning

Deep Learning

Functional Data analysis

Lie Groups

Sign language

Machine Learning

Analysis of kinematic trajectories

Résumé

Après plus de 10 années de travail, Mocaplab a mis au point une solution, unique au niveau mondial, d'enregistrement fin de tout le signal de la langue des signes (corps, visage, doigts, yeux) permettant la création de corpus conséquents (plusieurs heures d'enregistrement). En s'inspirant des outils classiques développés pour étudier la parole, l'idée est alors d'utiliser les outils mathématiques actuels, notamment de statistiques et de machine learning, pour extraire de ces signaux “mouvements” acquis par motion capture, des “primitives” spécifiques à la nature de ces signaux étudiés. L'idée principale est d'imaginer des outils qui prennent en compte dans leur nature le fait qu'il s'agit de signaux de translation et rotation associés, régit par des contraintes physiques et neurologiques. L'objectif de cette thèse est d'identifier des primitives du mouvement des mains dans le contexte de la langue des signes, et de fournir des modèles et des outils de segmentation non-supervisée de séquence de langues de signes. Enfin, sur cette base, nous envisageons le développement de méthodes de classification (supervisée) de signaux de langue des signes. Analyse de données fonctionnelles Dans le contexte de la langue des signes, Il s'agit donc d'identifier le bon cadre mathématique et les propriétés indispensables dans le “signal mouvement”. Il s'agira d'identifier des primitives, descripteurs et autres 'traits cinétiques' impliqués dans la langue des signes, permettant d'imaginer en prime des solutions de segmentation et de classification et de reconnaissance. Pour cela, nous proposons d'utiliser des techniques issues de l'analyse des données fonctionnelles [Wang et al 2016]. Un point de départ de cette méthodologie consiste en l'estimation des trajectoires issus du motion capture et de la caractérisation de la géométrie et de la cinématique par des représentations fonctionnelles appropriées. Cette analyse simultanée est notamment possible dans la trajectoire d'une particule ponctuelle, en utilisant le cadre de Frénet-Serret et l'estimation du repère de Frénet [Brunel2014, Brunel2019, Park2019]. Recherche de primitives A partir de ces estimateurs, nous souhaitons modéliser et décomposer la variabilité de ces trajectoires qui peuvent être à valeurs dans des groupes de Lie, tels que le Groupe Spécial Orthogonal ou le Groupe Spécial Euclidien. Ainsi l'exploitation de séquences annotées ou non de langues des signes et l'analyse de la diversité de ces mesures pourra permettre de traiter les différents points : explorer et estimer des modèles statistiques décrivant le lien entre vitesse curvilinéaire et trajectoire identifier les sources de variations les plus importantes dans la forme des trajectoires Identifier des principes d'invariance dans les mouvements de chaque main Modéliser les positions et vitesse relatives des deux mains dans le cas de la langue des signes. Machine learning et Deep Learning Enfin, dans un objectif de classification supervisée, nous envisageons d'utiliser des réseaux de neurones et le Deep Learning pour modéliser les données temporelles de mouvement (ces modèles ont montré un grand succès dans la modélisation de données temporelles et complexes, e.g. réseaux récurrents, convolutifs, orientés graphes...), ou encore de données à valeurs dans des groupes de Lie, [Li, et al 2018]. Nous bénéficions notamment de la possibilité de générer de nouvelles données adaptées grâce l'accès au plateau de MOCAP (8 jours) pour le test et l'amélioration des modèles de deep learning.

After more than 10 years of work, Mocaplab has developed a globally unique solution for the fine recording of all the sign language signal (body, face, fingers, eyes) allowing the creation of large corpora ( several hours of recording). Inspired by the classic tools developed to study speech, the idea is then to use current mathematical tools, notably statistics and machine learning, to extract from these “movement” signals acquired by motion capture, “primitives ”Specific to the nature of these signals studied. The main idea is to imagine tools which take into account in their nature the fact that they are associated translation and rotation signals, governed by physical and neurological constraints. The objective of this thesis is to identify primitives of hand movement in the context of sign language, and to provide models and tools for unsupervised segmentation of sign language sequences. Finally, on this basis, we envisage the development of (supervised) classification methods for sign language signals. Analysis of functional data In the context of sign language, it is therefore a question of identifying the right mathematical framework and the essential properties in the 'signal movement'. It will be a question of identifying primitives, descriptors and other 'kinetic traits' involved in sign language, making it possible to imagine, as a bonus, solutions for segmentation and classification and recognition. For this, we propose to use techniques from the analysis of functional data [Wang et al 2016]. A starting point of this methodology consists in the estimation of the trajectories resulting from the motion capture and the characterization of the geometry and the kinematics by appropriate functional representations. This simultaneous analysis is notably possible in the trajectory of a point particle, using the Frénet-Serret framework and the estimation of Frénet's benchmark [Brunel2014, Brunel2019, Park2019]. Primitive search From these estimators, we wish to model and decompose the variability of these trajectories which can be valued in Lie groups, such as the Special Orthogonal Group or the Special Euclidean Group. Thus, the exploitation of annotated or non-annotated sequences of sign languages ​​and the analysis of the diversity of these measures could make it possible to deal with the different points: explore and estimate statistical models describing the link between curvilinear speed and trajectory identify the most significant sources of variation in the shape of the trajectories Identify principles of invariance in the movements of each hand Model the relative positions and speed of the two hands in the case of sign language. Machine learning and Deep Learning Finally, for the purpose of supervised classification, we plan to use neural networks and Deep Learning to model temporal movement data (these models have shown great success in modeling temporal and complex data, eg recurrent networks, convolutional, graph-oriented ...), or even data with values ​​in Lie groups, [Li, et al 2018]. In particular, we benefit from the possibility of generating new adapted data thanks to access to the MOCAP platform (8 days) for testing and improving deep learning models.