Vision catadioptrique pour favoriser la perception d'environnements hétérogènes

Catadioptric vision to improve the perception of heterogeneous environments

• Auteur / Autrice : Julien Ducrocq
• Direction : Guillaume Caron
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur. Vision par Ordinateur
• Date : Soutenance le 12/12/2022
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens)
• Jury : Président / Présidente : Véronique Berge-Cherfaoui
• Jury : Examinateurs / Examinatrices : Pauline Trouvé, El Mustapha Mouaddib, Christian Duriez
• Jury : Rapporteurs / Rapporteuses : Christophe Cudel, David Fofi

Mots clés

Mots clés contrôlés

Vision artificielle (robotique)

Optique adaptative

Mots clés libres

Caméras catadioptriques

Champ de vue adaptatif

Imagerie HDR

Vision artificelle

Miroir déformable

Catadioptric cameras

Adaptative field of view

HDR imaging

Artificial vision

Deformable mirror

Adaptive optics

Résumé

Cette thèse présente les méthodes de conception de deux caméras catadioptriques capables de capturer des images exploitables d'environnements hétérogènes. Ces caméras s'inscrivent dans le domaine de la vision adaptative, qui rassemble les caméras dont la partie optique ou le capteur ont des propriétés hétérogènes qui peuvent varier au cours du temps. Les caméras adaptatives sont capables, entre autres, de capturer des environnements hétérogènes dont les propriétés physiques ou la géométrie varient dans l'espace. La thèse propose une revue de l'état de l'art des caméras adaptatives qui permettent de capturer certains types d'environnements hétérogènes. Dans un premier temps, on considère les scènes caractérisées par une variation spatiale de luminances, d'une gamme dynamique de l'ordre de 120 décibels. Ces scènes mettent en difficulté les caméras conventionnelles, dont les images ont des pixels d'intensité saturée et d'autres trop sombres, à cause de leur dynamique plus faible. Dans les deux cas, ces zones d'image n'apportent pas d'informations visuelles sur la scène, elles ne sont pas exploitables. Afin de capturer les luminances associées à ces zones claires et sombres, les caméras à large gamme dynamique (HDR) sont employées. Néanmoins, à l'heure actuelle, aucune caméra HDR n'est panoramique. C'est l'objet de la première contribution de cette thèse : concevoir une caméra panoramique HDR, afin d'améliorer la navigation de robots en extérieur par la perception visuelle seule dans des environnements à luminances variées. Montée sur un robot mobile, elle accroît le domaine de convergence et la précision en positionnement du robot en extérieur par asservissement visuel direct. Dans un second temps, on s'intéresse aux scènes dont le niveau de détail est non-uniforme dans l'espace : certains éléments de la scène présentent sont plus riches en informations visuelles que les autres. Afin de capturer de tels environnements hétérogènes, la deuxième contribution de cette thèse est une caméra adaptative. Elle s'appuie sur un nouveau miroir déformable dont les courbures locales permettent d'accroître ou de réduire le nombre de pixels qu'occupent les régions de la scène dans l'image. Cette caméra, surnommée Visadapt, capture des images multi-résolution selon le contenu de la scène. D'une scène à l'autre, il est possible de changer la forme du miroir afin d'optimiser la résolution des images qu'elle capture à cette nouvelle scène. La surface du miroir est constituée d'un matériau à la fois réfléchissant et déformable, le mylar et se déforme par une grille d'actionneurs linéaires placés sous sa surface. Ce miroir, plan à l’état initial, peut se déformer afin que les régions de la scène soient capturées par Visadapt à la résolution désirée. Une étude en simulation a permis de fixer les caractéristiques de Visadapt, notamment les dimensions et les matériaux des différents éléments qui la constituent, ainsi que l'espacement inter-actionneurs. Un prototype a été réalisé à partir des paramètres fixés en simulation. Les expérimentations réalisées ont montré que ce prototype est capable de magnifier jusqu'à quatre zones de la scène à la fois. Cette thèse se conclut sur des perspectives de travail qui proposent d'améliorer les prototypes des deux caméras conçues afin d'améliorer leurs performances et la variété des images qu'elles peuvent capturer. De plus, elle propose des pistes de recherche afin d'aller plus loin sur ces deux concepts de caméras et même sur la vision adaptative en général

This thesis presents the conception methods of two catadioptric cameras capable of recording usable images of heterogeneous environments. These cameras belong to the adaptive vision field, which gathers the cameras of which the optics or sensor have heterogeneous properties which can vary across time. Adaptive cameras abilities include capturing heterogenous environments which physical or geometrical properties change across space. This thesis proposes a survey of the state of the art on adaptive cameras which are able to capture specific types of heterogenous environments. On the one hand, we consider the scenes characterized by a spatial variation of radiances, with a dynamic range around 120 decibels. These scenes put conventional cameras in difficulty, their images have some pixels saturated and others to dark, because of their low dynamic range. In both casses, these image regions does not carry any visual information about the scene, they are not usable. In order to capture the radiances corresponding to these bright and dark areas, the high dynamic range cameras (HDR) are used. Nonetheless, there is no available HDR panoramic camera yet. Therefore, the first contribution of this thesis is the conception of an HDR panoramic camera in order to improve robots navigation, with only visual perception, in outdoor scenes with various. Mounted on a mobile robot, this camera enlarges the convergence domain and the positioning accuracy of a robot by direct visual servoing, outdoors. On the other hand, we consider the scenes which have a non-uniform level of details across space : some scene elements carry more visual information than the others. To capture such heterogeneous environments, the second contribution of this thesis is an adaptive camera. This camera is based on a new deformable mirror of local curvatures allowing to enlarge or reduce the number of pixels occupied by scene regions in the image. This camera, nicknamed Visadapt, capture multi-résolution images which depend on scene content. From one scene to another, the shape of the mirror may be changed to optimise the resolution of the images captured to this new scene. The surface of the mirror is made of material both reflective and deformable, the mylar, and changes of shape thanks to a grid of linear actuators placed underneath. This mirror, plan as an initial state, is able to change shape to give to the scene regions captured by Visadapt the desired resolution in the image. The characteristics of Visadapt, particularly the dimensions, the materials of its different elements and the actuators pitch, have been defined thanks to a simulation study. A real prototype have been built to respect the parameters defined by the simulation. The experiments shown that this prototype is able to magnify up to four scene regions at once. This thesis ends with a conclusion presenting future works to upgrade the prototypes of the two cameras, in order to enhance their performances and the diversity of images they can capture. Furthermore, this conclusion proposes research tracks to improve even further these two cameras and even adaptive vision in general