Suivi de forme et reconstruction de champ dans un environnement logiciel contraint – une approche minimaliste et externaliste.

Following shape and visual field analysis in a software environment - a minimalist and externalist approach

• Auteur / Autrice : Kim Savaroche
• Direction : Benoît Le blanc
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Soutenance le 23/06/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Yannick Prié
• Jury : Examinateurs / Examinatrices : Benoît Le blanc, Yannick Prié, Sandra Nogry, Pierre de Loor, Mounia Ziat, Jean-Baptiste Guignard
• Jury : Rapporteurs / Rapporteuses : Sandra Nogry, Pierre de Loor

Mots clés

Mots clés contrôlés

Rétine

Contraintes (intelligence artificielle)

Traitement d'images -- Techniques numériques

Reconnaissance des formes (informatique)

Perception des formes

Vision par ordinateur

Mots clés libres

Computer vision

Interprétation de formes

Discrimination des contours

Profondeur de champ

Segmentation

Retine

Contrainte

Point clef

Suivi de main

Outil d’annotation

Computer vision

Shape recognition

Contour detection

Depth

Segmentation

Retina

3D annotations

Constraints

Key point

Hand tracking

Annotation tool

Résumé

La reconnaissance gestuelle et le suivi de main suscitent à la fois l’intérêt du monde universitaire et du domaine industriel. La diversité des segments de l’un croise les problématiques fécondes de l’autre, et la computer vision ou l’apprentissage machine incluent désormais les cas d’usage qui défient constamment l’existant – c’est ce jeu de contraintes que nous adressons ici. La « contrainte » est cette typologie d’éléments qui empêchent une entité, ici logicielle, de progresser vers l’objectif qui lui est prédéfini. Elle revêt de nombreuses formes et n'est pas exclusivement liée au contexte industriel ou au matériel informatique. Au-delà de proposer une brique logicielle tenable, ce travail doctoral aborde la nature des contraintes rencontrées au cours de la constitution de ce logiciel nécessairement pluriel ainsi que les conditions de son évolution. A partir d'une caméra 2D, Clay permet en effet de repérer et suivre les mains d’un utilisateur en temps réel, y compris en profondeur (Z), dans une zone de captation vidéo réduite. Une fois le mouvement identifié, il est possible de le coupler à une action/instruction : augmenter ou baisser le son d’un fichier sonore, saisir un objet en 3D, activer des commandes embarquées dans un habitacle, etc. Ce principe d’identification (puis de suivi de forme) de la main exige d’interroger à nouveaux frais les notions de segmentation automatisée, de classification de la main (et de ses sous-parties) à partir de critères physiologiques, et jusqu’au processus même d'annotation des articulations. Nous proposons un processus d'évaluation de l’identification de la main dans un flux d’images guidé par l'automatisation de tests qualitatifs. Par ailleurs, sur les plans théorique et épistémologique, la segmentation analogique de la main identifiée s’appuie sur les concepts séminaux des théories de la Forme ; ladite forme n’est comprise qu’au regard de sa saisie, constituant ce que nous décrivons comme une « perception outillée » à la suite de la thèse TAC (la Technique comme Anthropologiquement Constitutive). Enfin, sur le plan de l’ingénierie des modèles, nous proposons un outil d’annotation combinant les avantages d’une modélisation 3D avec l’étalonnage de plusieurs caméras 2D en vue de résoudre les problématiques inévitablement liées à l’annotation 2D – en particulier, la cohérence des proportions et l’occultation des parties la main sont résolues. Ces éléments clefs sont chaque fois accompagnés de résultats concrets mis en relief par la nature des contraintes qui ont influencé le développeur à choisir une solution plutôt qu’une autre.

Gesture recognition and hand tracking draw attention from both academia and industry. The diversity of the segments of one crosses the problematics of the other, and computer vision or machine learning now includes use cases that constantly challenge the existing - it is this set of constraints that we address here. The "constraint" is this typology of elements which prevent an entity, here software, from progressing towards the objective which is predefined for it. It takes many forms and is not exclusively related to the industrial context or computer hardware. Beyond proposing a concrete software brick, this doctoral work addresses the nature of the constraints encountered during the constitution of this necessarily plural software as well as the conditions of its evolution. From a 2D camera, Clay makes it possible to locate and follow the hands of a user in real time, including in depth (Z), in a small video capture area. Once the movement has been identified, it is possible to link it to an action / instruction: increase or decrease the sound of a sound file, grab a 3D object, activate on-board controls in a passenger compartment, etc. This principle of identification (then of shape monitoring) of the hand requires a fresh examination of the notions of automated segmentation, of classification of the hand (and its sub-parts) from physiological criteria, and up to to the very process of annotating joints. We provide a process for evaluating the identification of the hand in a flow of images guided by the automation of qualitative tests. Moreover, on the theoretical and epistemological levels, the analogical segmentation of the identified hand is based on the seminal concepts of the theories of Form; said form is understood only with regard to its grasping, constituting what we describe as a "tooled perception" following the TAC thesis (Technique as Anthropologically Constitutive). Finally, in terms of model engineering, we offer an annotation tool combining the advantages of 3D modeling with the calibration of several 2D cameras in order to solve the problems inevitably linked to 2D annotation - in particular, the coherence of the proportions and the blind spot of the parts of the hand are resolved. These key elements are each time accompanied by concrete results highlighted by the nature of the constraints that have influenced the developer to choose one solution over another.