ASTRID: Analyse de Scène en Temps Réel pour l'Interaction 3D

by Adrien Kaiser

Thesis project in Informatique

Under the supervision of Tamy Boubekeur.

Ongoing thesis at Paris Saclay , under the authority of Sciences et Technologies de l'Information et de la Communication , in a partnership with Laboratoire de Traitement et Communication de l'Information (laboratoire) , IMAGES : Image, Modélisation, Analyse, GEométrie, Synthèse (equipe de recherche) and Télécom ParisTech (établissement de préparation de la thèse) since 01-12-2015 .

  • Alternative Title

    Real Time Scene Analysis for 3D Interaction


  • Abstract

    The goal of this PhD thesis is to automatically create and operate a smart map of the real 3D environment of a user, that would allow making it interactive in order to control both real entities (connected objects) and virtual ones. The aim is to develop new methods of unstructured and unknown 3D scene analysis, in order to obtain a high level interpretation, giving the host system a perception of the objects around. The status of these objects will define several interaction areas, accessible to users present in the scene. The interpretation will be done through geometric modeling which is intended to detect the elements constituting the scene and represent them with geometric primitives, by analyzing their shapes. A classification and semantic analysis of these shapes could be done in addition to the modeling, in the second part of the PhD. The movements of all objects will have to be detected and analyzed to create new interaction areas. The input scene model is typically described as a dense and unstructured 3D point cloud which will be aquired and updated using an embedded 3D scanning system such as a real time RGB-Depth camera. As the camera might be moving through time, related issues concerning the localization of the system in the environment as well as real time constraints on embedded devices will have to be dealt with. The main scientific goal of the PhD is to develop a methodology for real time shape analysis that would be robust to the described scenario, by studying recent advances in geometric processing, shape recognition and classification, and computational interaction.


  • Abstract

    L'objectif de cette thèse est de créer automatiquement et exploiter une carte intelligente de l'environnement 3D réel d'un utilisateur, qui permette de le rendre interactif afin de contrôler à la fois des entités réelles (objets connectés) et virtuelles. On souhaite ainsi développer de nouvelles méthodes d'analyse de scène 3D non structurée et inconnue a priori, afin d'en obtenir une interprétation haut niveau offrant au système hôte une perception des objets la constituant. L'état de ces objets permettra de définir diverses zones d'interaction accessibles aux utilisateurs présents dans la scène. L'interprétation passera par une modélisation géométrique qui a pour but de détecter et représenter par des primitives géométriques 3D les éléments de la scène en analysant les formes. Une classification et une analyse sémantique de ces formes pourra compléter la modélisation de la scène dans la seconde partie de la thèse. Les mouvements des objets devront alors être détectés et analysés pour créer de nouvelles zones d'interaction. Le modèle de scène en entrée prend typiquement la forme d'un nuage de points 3D dense et non structuré qui sera acquis et mis à jour à l'aide d'un système embarqué de numérisation 3D de type camera RGB-Depth temps réél. Ce dernier pouvant lui même être en déplacement, on considérera les problématiques de localisation du système dans l'environnement et de contrainte temps réel sur des appareils embarqués. L'objectif scientifique principal de la thèse est de développer une méthodologie d'analyse de forme temps réel qui soit robuste à ce scénario, en exploitant les avancées récentes en traitement géométrique, reconnaissance et classification de forme et interaction computationnelle.