Naviguer en vision prothétique simulée : apport de la vision par ordinateur pour augmenter les rendus prothétiques de basse résolution

Navigation in simulated prosthetic vision : augmenting low resolution prosthetic renderings with computer vision

• Auteur / Autrice : Victor Vergnieux
• Direction : Christophe Jouffrais, Marc Macé
• Type : Thèse de doctorat
• Discipline(s) : Image, information, hypermédia
• Date : Soutenance le 02/12/2015
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Vision par ordinateur

Orientation

Cécité

Mots clés libres

Cognition spatiale

Neuroprothèses visuelles

Simulation de vision prothétique

Réalité virtuelle

Navigation

Spatial Cognition

Visual Neuroprosthesis

Simulated Prosthetic Vision

Navigation

Résumé

La cécité touche 39 millions de personnes dans le monde et génère de nombreuses difficultés dans la vie quotidienne. Plus précisément, les capacités de navigation (incluant orientation et mobilité) sont fortement diminuées, ce qui amène les personnes non-voyantes à limiter, voire à cesser leurs déplacements. Pour restaurer des sensations "visuelles", et par-delà, une certaine autonomie, il est possible de stimuler directement le système visuel résiduel d'une personne non-voyante à l'aide d'un implant administrant des micro-stimulations électriques. Le dispositif complet se compose d'une micro-caméra portée sur des lunettes et reliée à un ordinateur de poche, qui lui-même est connecté à l'implant. Lors des micro-stimulations, les sujets perçoivent des tâches grises, blanches ou jaunâtres appelées phosphènes. Ainsi la qualité de la vision restaurée est directement dépendante de la résolution et de la position de l'implant. Le nombre d'électrodes étant faible pour les implants en développement (moins d'une centaine), il est nécessaire de réduire drastiquement la résolution du flux vidéo pour la faire correspondre à la faible résolution de l'implant. Actuellement, l'Argus II de la société Second Sight est l'implant dont le développement est le plus avancé et sa résolution est de 60 électrodes, ce qui permet aux patients implantés de percevoir 60 phosphènes différents. Cette vision restaurée est donc très pauvre et un travail d'optimisation du signal est nécessaire pour pouvoir utiliser l'implant de manière fonctionnelle. Les sujets implantés sont impliqués dans des protocoles cliniques fermés ne permettant pas de les inclure dans d'autres expériences. Malgré cela, il est possible d'étudier les possibilités offertes par ces implants visuels en simulant la vision prothétique dans un casque de réalité virtuelle porté par des sujets voyants. Il s'agit du domaine de la vision prothétique simulée (VPS). La navigation n'a jamais été étudiée chez les patients implantés et très rarement en VPS. Il s'avère qu'avec des implants de très faible résolution, elle pose de grandes difficultés liées à la mobilité mais également des difficultés liées à l'orientation. Les travaux entrepris dans ce doctorat se concentrent sur l'étude de la navigation en VPS. Différentes théories en psychologie nous ont permis d'identifier les éléments importants pour les sujets afin qu'ils se repèrent et se construisent une représentation mentale fiable de l'environnement lors de la navigation. À partir de ces modèles, différents rendus prothétiques utilisant la vision par ordinateur ont été conçus et testés dans une tâche de navigation réalisée dans un environnement virtuel. Les expérimentations effectuées avaient pour objectif d'optimiser la perception et la compréhension de l'espace parcouru avec un implant de faible résolution. Ces évaluations reposaient sur la performance de temps des sujets pour effectuer la tâche de navigation et sur leur représentation mentale de l'environnement. Après la tâche de navigation, il leur était demandé de dessiner la carte des environnements explorés, afin d'évaluer ces représentations. Cette double évaluation a permis d'identifier les indices importants permettant de faciliter la perception et la mémorisation de la structure des environnements dans une tâche de navigation en VPS. Pour améliorer les performances des personnes non-voyantes implantées, il apparaît notamment nécessaire de limiter la quantité d'information présentée, tout en préservant la structure de l'environnement grâce à des algorithmes de vision par ordinateur. Lorsque l'accès à des patients implantés sera plus ouvert, il deviendra nécessaire de valider ces différents résultats en les faisant naviguer en environnement virtuel puis en environnement réel.

Blindness affects thirty nine millions people in the world and generates numerous difficulties in everyday life. Specifically, navigation abilities (which include wayfinding and mobility) are heavily diminished. This leads blind people to limit and eventually to stop walking outside. Visual neuroprosthesis are developed in order to restore such "visual" perception and help them to get some autonomy back. Those implants generate electrical micro-stimulations which are focused on the retina, the optic nerve or the visual cortex. Those stimulations elicit blurry dots called "phosphenes". Phosphenes can be mainly white, grey or yellow. The whole stimulation device contains a wearable camera, a small computer and the implant which is connected to the computer. The implant resolution and position impact directly the quality of the restored visual perception. Current implants include less than a hundred electrodes so it is mandatory to reduce the resolution of the visual stream to match the implant resolution. For instance, the already commercialized Argus II implant from the company Second Sight (Seymar, California) is the leading visual implant worldwide and uses only sixty electrodes. This means that Argus II blind owners can perceive only sixty phosphenes simultaneously. Therefore this restored vision is quite poor and signal optimization is required to get to a functional implant usage. Blind people with implants are involved in restricted clinical trials and are difficult to reach. Yet, studying those implant possibilities is at our reach by simulating prosthetic vision and displaying it in a head mounted display for sighted subjects. This is the field of simulated prosthetic vision (SPV). Navigation was never studied with people with implant, and only a few studies approached this topic in SPV. In this thesis, we focused on the study of navigation in SPV. Computer vision allowed us to select which of the scene elements to display in order to help subjects to navigate and build a spatial representation of the environment. We used psychological models of navigation to conceive and evaluate SPV renderings. Subjects had to find their way and collect elements in a navigation task in SPV inspired by video games for the blind. To evaluate their performance we used a performance index based on the completion time. To evaluate their mental representation, we asked them to draw the environment layout after the task for each rendering. This double evaluation lead us to spot which elements can and should be displayed in low resolution SPV in order to navigate. Specifically those results show that to be understandable in low vision, a scene must be simple and the structure of the environment should not be hidden. When blind people with implant will become available we will be able to confirm or deny those results by evaluating their navigation in virtual and real environments.