Méthodes d'apprentissage profond pour l'estimation de la position et la reconstruction d'objets en environnement industriel

Deep learning methods for object pose estimation and reconstruction in industrial environments

• Auteur / Autrice : Hugo Durchon
• Direction : Titus Bogdan Zaharia, Marius Preda
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 18/03/2025
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Institut Polytechnique de Paris / IP Paris - Département Advanced Research And Techniques For Multidimensional Imaging Systems / ARTEMIS - ARMEDIA / ARMEDIA-SAMOVAR
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (Evry ; 2012-....)
• Jury : Président / Présidente : Francisco Morán Burgos
• Jury : Examinateurs / Examinatrices : Valeriu Vrabie, Samir Otmane, Jérémy Lacoche
• Jury : Rapporteurs / Rapporteuses : Valeriu Vrabie, Samir Otmane

Mots clés

Mots clés contrôlés

Intelligence artificielle

Apprentissage profond

Mots clés libres

Vision par ordinateur

Apprentissage profond

Réalité augmentée

Computer Vision

Deep learning

Augmented reality

Résumé

Cette thèse aborde les défis relatifs à la mise en œuvre du placement et de l'alignement du contenu virtuel sans marqueurs pour la Réalité Augmentée (RA) dans des environnements industriels d'assemblage de chaudières. Malgré les potentiels bénéfices de la RA pour l'industrie, incluant une production accrue ainsi qu'une formation interactive et plus efficiente des opérateurs, son utilisation reste limitée dans les environnements de production complexes. Une des limitations technologiques réside dans l'incapacité des approches traditionnelles d'alignement du contenu virtuel, tirant parti de marqueurs physiques, à opérer sur des lignes de production entières, notamment, lorsqu'elles sont composées d'objets d'intérêt ou de structures d'assemblage mobiles. À travers l'investigation de diverses approches de vision par ordinateur, notre travail aboutit au développement d'une pipeline innovante combinant les Neural Radiance Fields et les méthodes d'estimation de position 6D dites « zero-shot ». Cette solution permet l'alignement du contenu virtuel sans marqueurs et sans nécessiter de données d'entraînement labellisées ni de modèles CAD préexistants. L'approche proposée démontre des performances robustes sur différents modèles de chaudières et étapes d'assemblage. Nos contributions vont au-delà de la mise en œuvre technique pour inclure des idées concernant le déploiement pratique de solutions de vision par ordinateur dans des environnements industriels, ouvrant la voie à une adoption plus généralisée de la RA dans le contexte de l'industrie 4.0.

This thesis addresses the challenge of implementing markerless Augmented Reality (AR) in manufacturing environments, focusing on boiler assembly lines. While AR technology shows great promise for improving industrial efficiency through operator training and assistance, its adoption has been limited by difficulties in handling complex production environments. Traditional approaches using markers become impractical when scaling across entire production lines, especially with dynamic objects and assembly structures.Through systematic investigation of various computer vision approaches, from lightweight neural networks to advanced 3D reconstruction techniques, our work culminates in an innovative end-to-end pipeline that combines neural rendering and zero-shot pose estimation techniques. This solution enables markerless AR without requiring extensive manual annotations or pre-existing 3D models, addressing key barriers to industrial AR adoption.The proposed approach demonstrates robust performance across different boiler models and assembly stages, achieving remarkable results in real production conditions. Our contributions extend beyond technical implementation to include valuable insights for deploying computer vision solutions in industrial settings, paving the way for more widespread adoption of AR technology in Industry 4.0 manufacturing environments.