Thèse soutenue

Interactions multi sensorielles entre un système robotique multidimensionnel et multi capteur
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Ayman Beghdadi
Direction : Malik MallemLotfi BejiAli Amouri
Type : Thèse de doctorat
Discipline(s) : Robotique
Date : Soutenance le 23/11/2023
Etablissement(s) : université Paris-Saclay
Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
Partenaire(s) de recherche : Laboratoire : Informatique, Biologie Intégrative et Systèmes Complexes (Evry, Essonne)
référent : Université d'Évry Val d'Essonne
graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
Equipe de recherche : IRA2: Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante
Jury : Président / Présidente : Eric Monacelli
Examinateurs / Examinatrices : Jenny Benois Pineau, Adriana Tapus, Faïz Ben Amar, David Fofi
Rapporteurs / Rapporteuses : Jenny Benois Pineau, Adriana Tapus

Résumé

FR  |  
EN

Dans le cadre de simulateur de réalité mixte, la qualité de l'immersion ne peut être évaluée qu'à travers des questionnaires post-simulations faits sur les utilisateurs.Afin de s'affranchir de cette limite, nous proposons un système reproduisant la capacité de l'humain à percevoir son mouvement en vue d'évaluer la pertinence de l'immersion de manière qualitative.Dans notre système, l'humain est ainsi remplacé par un robot humanoïde NAO et un modèle de perception visuo-inertiel du mouvement permettant de simuler par biomimétisme la fonction cognitive visuo-spatiale de l'humain.Ce système soulève des problématiques relatives aux traitements des flux d'information visuelle et inertielle réalisés respectivement par le cortex visuel et le système vestibulaire.En conséquence, une méthode de SLAM ("Simultaneous Localisation and Mapping") visuel robuste aux dynamiques de l'environnement est proposée en substitution de la perception réalisée par le cortex visuel humain.Cette méthode exploite les informations spatiales, sémantiques et d'interactions présentes dans la scène observée dans le but d'atteindre un niveau de robustesse similaire à l'humain.Une base de données contenant des images photo-réalistes dégradées de manière globale et locale a également été produite pour rendre notre méthode de SLAM moins sensible aux phénomènes de distorsions liées aux conditions d'acquisition.Les estimations visuelles et inertielles sont ensuite intégrées à un framework liant notre robot NAO et le modèle de perception utilisé en vue de déterminer le mouvement perçu selon l'humain et ainsi émettre un avis sur la qualité de l'immersion.Ce framework offre alors la possibilité de calibrer des scénarios pour le simulateur qui garantissent à la fois une restitution des sensations et l'intégrité physique de l'utilisateur.Enfin, dans l'intention d'optimiser l'immersion, une méthode d'apprentissage par renforcement pour l'optimisation de la restitution des sensations inertielles à travers le Motion Cueing Algorithm est proposée. Cette méthode nouvelle permet une meilleure retranscription des sensations inertielles par la plateforme robotique du simulateur.