Vers l'assistance à l'exploration pertinente et réaliste d'environnements 3D très denses

Towards assistive, relevant and realistic exploration of 3D dense environments

• Auteur / Autrice : Zaynab Habibi
• Direction : El Mustapha Mouaddib, Guillaume Caron
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur. Vision par Ordinateur
• Date : Soutenance le 08/12/2015
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens)
• Jury : Président / Présidente : Christophe Chaillou
• Jury : Examinateurs / Examinatrices : El Mustapha Mouaddib, Guillaume Caron, Éric Marchand, Marie-Odile Berger, Marc Christie, Dominique Groux-Leclet
• Jury : Rapporteurs / Rapporteuses : Éric Marchand, Marie-Odile Berger

Mots clés

Mots clés contrôlés

Saillance visuelle

Entropie (théorie de l'information)

Vision par ordinateur

Mots clés libres

Mélange de gaussiennes

Navigation

Optimisation

Entropie

Gaussian mixture

Navigation

Optimization

Entropy

Résumé

Dans cette thèse, nous traitons le problème de la navigation dans un environnement virtuel 3D. En particulier, les environnements, sous forme d'un nuage de centaines de millions de points, sont difficiles à appréhender par un novice. La complexité et la richesse en détails du nuage de points 3D de la cathédrale d'Amiens peuvent ainsi entraîner une désorientation et une visualisation non pertinente avec les outils (logiciels et interfaces) existants. Les contributions de la thèse portent sur le contrôle de caméra virtuelle, automatique et assisté, en exploitant des informations visuelles 2D de l'image et d'autres informations 3D de l'environnement. Pour garantir la pertinence visuelle, nous proposons deux méthodes de guidage de caméra, l'une basée entropie photométrique et la seconde, représentant la contribution majeure de cette thèse, définit et exploite le mélange de gaussiennes basées saillance visuelle. Le formalisme d'asservissement visuel permet de relier la modélisation de l'image aux degrés de liberté de la caméra. L'évitement d'obstacles, la fluidité du mouvement et l'orientation appropriée de la caméra sont des contraintes supplémentaires, prises en compte pour deux types de navigations : le cadrage local et l'exploration globale. Le but du cadrage visuel est de déplacer la caméra en utilisant la nouvelle primitive photométrique du mélange de gaussiennes basées saillance, afin d'atteindre un point de vue pertinent pour la visualisation d'un objet. L'approche a été testée en simulation, sur un nuage de points dense et aussi dans un environnement réel avec un robot. En ce qui concerne l'exploration, deux méthodes ont été proposées. La première automatique en utilisant l'entropie photométrique et les contraintes de réalisme du mouvement. Le problème est résolu à l'aide d'un algorithme d'optimisation hybride et hiérarchique. Ensuite, une approche d'exploration assistée a été proposée, où, l'utilisateur définit un ensemble de zones à visiter. À ce dernier, s'ajoutent différentes contraintes pour assurer une navigation réaliste et pertinente. La résolution s'appuie sur une loi de contrôle hiérarchique qui utilise le formalisme de redondance. Ces deux méthodes d'exploration ont été testées sur des nuages de points très vastes et complexes, notamment celui de la cathédrale Notre Dame d'Amiens.

In this thesis, we address the issue of navigation in virtual 3D environment. In particular, environments made of hundreds of millions of points, which are difficult to bring under control by a novice. The complexity and the wealth of details of the 3D point cloud of the cathedral of Amiens can result in a disorientation and in an irrelevant visualization with existing tools (interfaces). The contributions of the thesis deal with automatic or assisted camera control exploiting 2D visual information from the image and other 3D information from the environment. To ensure the visual relevance, we propose two methods to pilot the camera, one based on the photometric entropy and the second representing the major contribution of this thesis, defines and exploits the saliency-based Gaussian mixture. The visual servoing formalism is used to link the image modelling to the camera degrees of freedom. The obstacle avoidance, the fluidity of motion and appropriate camera orientation are considered as additional constraints taken into account in two navigation modes: the local framing and the global exploration. The goal of visual framing is to move the camera by maximizing the saliency-based Gaussian mixture feature, in order to reach a relevant viewpoint to visualize an object. We test this approach in synthetic model, 3D points cloud model and in a real environment with a robot. Regarding exploration, we present first an automatic camera control exploiting the photometric entropy and some constraints to ensure realistic motion. The problem is solved using an hybrid and hierarchical optimization algorithm. Then, we present a navigation aid system helping the user to explore a part or the whole 3D environment. The system is built using the redundancy formalism taking into account several constraints. These approaches were tested on simple and complex dense 3D points cloud