Assistance visuelle des malvoyants par traitement d’images adaptatif

Visual assistance of visual impaired people by adaptive image processing

• Auteur / Autrice : Benoit Froissard
• Direction : Alain Trémeau
• Type : Thèse de doctorat
• Discipline(s) : Image, Vision, Signal
• Date : Soutenance le 27/02/2014
• Etablissement(s) : Saint-Etienne
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....) - Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Frédérique Robert-Inacio
• Jury : Examinateurs / Examinatrices : Éric Dinet, Hubert Konik, Zile Liu, Évelyne Lutton, Serge Miguet

Mots clés

Mots clés contrôlés

Réalité augmentée

Traitement d'images

Handicapés visuels

Mots clés libres

Malvoyants

Aide visuelle

Traitement d'images

Contours

Adaptatif

Réalité augmentée

Mobilité

Assistance visuelle

Visual impaired people

Visual aids

Image processing

Edges

Adaptive

Augmented reality

Mobility

Visual assistance

Résumé

Cette thèse s’inscrit dans le cadre de l’analyse des besoins de personnes malvoyantes dans le but de développer de nouvelles solutions d’assistance visuelle en utilisant le principe de réalité augmentée. Le principal objectif de ces travaux était le développement d’un dispositif d’assistance visuelle pour faciliter la mobilité de personnes malvoyantes grâce à un algorithme qui en temps réel adapte sa réponse en fonction des besoins de l’utilisateur et de la situation dans laquelle il évolue. Le premier postulat de cette thèse est d’utiliser l’acuité résiduelle fonctionnelle des malvoyants afin de leur permettre de percevoir un certain nombre d’informations. Le second postulat est d’utiliser les seules informations pertinentes, utiles à un malvoyant, afin d’améliorer sa perception du monde dans lequel il évolue. Le premier axe de recherche a consisté à analyser les besoins des malvoyants afin de recenser, les indices visuels utiles à rehausser afin d’améliorer la perception des malvoyants. Cette étude a été réalisée en immersion et une enquête précise a été menée auprès de malvoyants. Cette étude permet de mieux comprendre les besoins des malvoyants, les méthodes qu’ils utilisent ainsi que leurs usages des dispositifs actuels. Le deuxième axe de recherche a consisté à concevoir et à mettre en oeuvre un algorithme de traitement d’images répondant aux besoins identifiés. Un outil interactif a été développé qui permet de sélectionner la quantité de contours en fonction de la situation. Ce détecteur de contour optimise sa détection afin d’obtenir des contours plus exploitables pour les malvoyants, comparés aux résultats des autres méthodes de l’état de l’art. Cet outil a été testé et validé auprès d’une population donnée de personnes malvoyantes. Ces tests réalisés sur écran ont démontré que les contours constituent des indices visuels très importants qui peuvent être d’une grande aide dans l’analyse d’une scène. Le troisième axe de travail a consisté au développement d’un système de réalité augmentée permettant d’utiliser ce détecteur de contours dans un contexte de mobilité. L’analyse des besoins des malvoyants vis-à-vis d’un tel dispositif nous a permis de définir les caractéristiques indispensables pour le système de calcul, la caméra et le dispositif d’affichage. Concernant le système d’affichage, l’analyse des besoins des malvoyants en termes de profil, de couleur, de largeur des contours, nous a permis de définir les paramètres nécessaires pour un affichage qui répond à ces besoins. Il a également été pris en compte dans les développements les paramètres physiologiques de chaque observateur afin que les images affichées soient visuellement confortables

This thesis was done in the context of visual impaired needs analysis with the goal of new augmented reality visual assistance device development. The main goal of this work was the development of assistive device for mobility of visual impaired people by the use real-time image processing algorithm which take into account user needs and the context. The first postulate is the use of residual visual acuity of visual impaired people to allow them to see more information. The second postulate is the use only most useful information for visual impaired people for the understanding of the situation where are they. The first research axis was an analysis of needs of visual impaired to identify visual cues, which one we need to enhance to help them. To do this, I have done an immersive stage into a re-adaptation clinic for visually impaired. I have also done a questionnaire to identify and understand how current products answers partially to their needs. The second research axis was the development of a new image processing to answer identified needs. I have developed an interactive tools that allow the user to select the amount of edges for each situation, context. This detector optimizes its result to provide better results than others state of the art evaluated methods. This tool was evaluated and validated during visual test by visual impaired people. We have demonstrated that edges are one of the most important visual cues for visual impaired people to analyze a scene. The third research axis was the development of the augmented reality system to use my tool in a context of mobility. To do this, I have analyzed the needs of visual impaired people for this type of devices. I have also defined main requirements of the desired device for the processing unit, the camera and the display module. For display module, I have analyzed physiologic needs of visually impaired, in terms of profile, colors, and thickness to answer their needs. I have also developed an image generation model which takes into account many physiologic parameters of each observer to create visually comfortable images