Reconnaissance des documents avec de l'apprentissage profond pour la réalité augmentée

Document recognition with deep learning for augmented reality

• Auteur / Autrice : Thibault Lelong
• Direction : Titus Bogdan Zaharia, Marius Preda
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 12/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : SAMOVAR - Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux - Institut Polytechnique de Paris / IP Paris - Département Advanced Research And Techniques For Multidimensional Imaging Systems / TSP - ARTEMIS
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom SudParis (France)
• Partenaire(s) de recherche : Equipe de recherche : ARMEDIA / ARMEDIA-SAMOVAR
• Jury : Président / Présidente : Mihai Ciuc
• Jury : Examinateurs / Examinatrices : Christophe Gravier, Valeriu Vrabie, Emmanuel Bricard
• Jury : Rapporteurs / Rapporteuses : Christophe Gravier, Valeriu Vrabie

Mots clés

Mots clés contrôlés

Robotique

Intelligence artificielle

Apprentissage profond

Mots clés libres

Reconnessaince d'image

Apprentissage profond

Suivi d'image

Réalité augmentée

Image recognition

Deep learning

Image tracking

Augmented reality

Résumé

Ce projet doctoral se focalise sur les problématiques associées à l'identification d'images et de documents dans les applications de réalité augmentée utilisant des marqueurs, en particulier lors de l'utilisation d'appareils photo. La recherche s'inscrit dans un contexte technologique où l'interaction via la réalité augmentée est essentielle dans plusieurs domaines, y compris l'industrie, qui requièrent des méthodologies d'identification fiables.Dans une première phase, le projet évalue diverses méthodologies d'identification et de traitement d'image au moyen d'une base de données spécialement conçue pour refléter les défis du contexte industriel. Cette recherche permet une analyse approfondie des méthodologies existantes, révélant ainsi leurs potentiels et leurs limites dans divers scénarios d'application.Par la suite, le projet propose un système de détection de documents visant à améliorer les solutions existantes, optimisé pour des environnements tels que les navigateurs web. Ensuite, une méthodologie innovante pour la recherche d'images est introduite, s'appuyant sur une analyse de l'image en sous-parties afin d'accroître la précision de l'identification et d'éviter les confusions d'images. Cette approche permet une identification plus précise et adaptative, notamment en ce qui concerne les variations de la mise en page de l'image cible.Enfin, dans le cadre de travaux en collaboration avec la société ARGO, un moteur de suivi d'image en temps réel a été développé, optimisé pour des appareils à basse puissance et pour les environnements web. Ceci assure le déploiement d'applications web en réalité augmentée et leur fonctionnement sur un large éventail de dispositifs, y compris ceux dotés de capacités de traitement limitées.Il est à noter que les travaux issus de ce projet doctoral ont été appliqués et valorisés concrètement par la société Argo à des fins commerciales, confirmant ainsi la pertinence et la viabilité des méthodologies et solutions développées, et attestant de leur contribution significative au domaine technologique et industriel de la réalité augmentée.

This doctoral project focuses on issues related to the identification of images and documents in augmented reality applications using markers, particularly when using cameras. The research is set in a technological context where interaction through augmented reality is essential in several domains, including industry, which require reliable identification methodologies.In an initial phase, the project assesses various identification and image processing methodologies using a database specially designed to reflect the challenges of the industrial context. This research allows an in-depth analysis of existing methodologies, thus revealing their potentials and limitations in various application scenarios.Subsequently, the project proposes a document detection system aimed at enhancing existing solutions, optimized for environments such as web browsers. Then, an innovative image research methodology is introduced, relying on an analysis of the image in sub-parts to increase the accuracy of identification and avoid image confusions. This approach allows for more precise and adaptive identification, particularly with respect to variations in the layout of the target image.Finally, in the context of collaborative work with ARGO company, a real-time image tracking engine was developed, optimized for low-power devices and web environments. This ensures the deployment of augmented reality web applications and their operation on a wide range of devices, including those with limited processing capabilities.It is noteworthy that the works resulting from this doctoral project have been concretely applied and valorized by the Argo company for commercial purposes, thereby confirming the relevance and viability of the developed methodologies and solutions, and attesting to their significant contribution to the technological and industrial field of augmented reality.