Auteur / Autrice : | Ayman Beghdadi |
Direction : | Malik Mallem, Lotfi Beji, Ali Amouri |
Type : | Thèse de doctorat |
Discipline(s) : | Robotique |
Date : | Soutenance le 23/11/2023 |
Etablissement(s) : | université Paris-Saclay |
Ecole(s) doctorale(s) : | École doctorale Sciences et technologies de l'information et de la communication |
Partenaire(s) de recherche : | Laboratoire : Informatique, Biologie Intégrative et Systèmes Complexes (Evry, Essonne) |
référent : Université d'Évry Val d'Essonne | |
graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....) | |
Equipe de recherche : IRA2: Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante | |
Jury : | Président / Présidente : Eric Monacelli |
Examinateurs / Examinatrices : Jenny Benois Pineau, Adriana Tapus, Faïz Ben Amar, David Fofi | |
Rapporteurs / Rapporteuses : Jenny Benois Pineau, Adriana Tapus |
Mots clés
Résumé
Dans le cadre de simulateur de réalité mixte, la qualité de l'immersion ne peut être évaluée qu'à travers des questionnaires post-simulations faits sur les utilisateurs.Afin de s'affranchir de cette limite, nous proposons un système reproduisant la capacité de l'humain à percevoir son mouvement en vue d'évaluer la pertinence de l'immersion de manière qualitative.Dans notre système, l'humain est ainsi remplacé par un robot humanoïde NAO et un modèle de perception visuo-inertiel du mouvement permettant de simuler par biomimétisme la fonction cognitive visuo-spatiale de l'humain.Ce système soulève des problématiques relatives aux traitements des flux d'information visuelle et inertielle réalisés respectivement par le cortex visuel et le système vestibulaire.En conséquence, une méthode de SLAM ("Simultaneous Localisation and Mapping") visuel robuste aux dynamiques de l'environnement est proposée en substitution de la perception réalisée par le cortex visuel humain.Cette méthode exploite les informations spatiales, sémantiques et d'interactions présentes dans la scène observée dans le but d'atteindre un niveau de robustesse similaire à l'humain.Une base de données contenant des images photo-réalistes dégradées de manière globale et locale a également été produite pour rendre notre méthode de SLAM moins sensible aux phénomènes de distorsions liées aux conditions d'acquisition.Les estimations visuelles et inertielles sont ensuite intégrées à un framework liant notre robot NAO et le modèle de perception utilisé en vue de déterminer le mouvement perçu selon l'humain et ainsi émettre un avis sur la qualité de l'immersion.Ce framework offre alors la possibilité de calibrer des scénarios pour le simulateur qui garantissent à la fois une restitution des sensations et l'intégrité physique de l'utilisateur.Enfin, dans l'intention d'optimiser l'immersion, une méthode d'apprentissage par renforcement pour l'optimisation de la restitution des sensations inertielles à travers le Motion Cueing Algorithm est proposée. Cette méthode nouvelle permet une meilleure retranscription des sensations inertielles par la plateforme robotique du simulateur.