Apprentissage automatique par renforcement des points faibles d'un algorithme basé image

par Adrian Bojko

Projet de thèse en Informatique

Sous la direction de Hervé Le borgne et de Romain Dupont.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec Institut CEA LIST (laboratoire) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 05-11-2018 .


  • Résumé

    La thèse s'intéresse ici à l'optimisation des données d'entrée fournies à un algorithme basé image ou séquence vidéo, tel que le SLAM (algorithme de localisation de caméra, depuis une séquence d'images), qui s'appuie notamment sur des filtres robustes. Ces algorithmes sont capables de ne considérer que les données pertinentes ou non ambigües (dites inliers, par opposition aux données outliers) si celles-ci sont dominantes dans l'image d'entrée. Dans les situations difficiles où les données aberrantes sont majoritaires (occultation massive de l'image par un objet possédant un mouvement incohérent avec celui de la caméra, surfaces réfléchissantes, etc.), l'algorithme de localisation échoue à fournir un résultat valide. L'objectif de la thèse est de développer un processus d'apprentissage par renforcement, sans a priori sur la scène, en utilisant les réseaux de neurones profonds, afin de segmenter automatiquement les futures images d'entrée en données valides (inliers) et données aberrantes (outliers), qui sera, et c'est nouveau au regard de l'état de l'art, une segmentation spécifique à l'algorithme et à un contexte donné. Cette approche se démarque aussi des méthodes de l'état de l'art par le fait que l'apprentissage est automatiquement effectué en fonction des résultats fournis par l'algorithme étudié sur des cas fonctionnels, et non issu de connaissances a priori, tel que la sortie d'un détecteur de piétons ou de véhicules en déplacement ou autre information. D'autre part, les données d'apprentissage sont fournis par l'algorithme étudié lui-même, simplifiant considérablement le processus d'apprentissage, quand celui-ci n'est parfois pas possible, par exemple lorsque le contexte d'utilisation de l'algorithme n'est pas connu à l'avance. Lors de la thèse, cette approche sera ensuite étendue à d'autres algorithmes de même nature (de type SLAM) puis d'autres classes d'algorithmes basés sur des images ou séquences vidéos s'appuyant sur des filtres robustes.

  • Titre traduit

    Reinforcement learning of outliers for an image-based algorithm


  • Résumé

    The thesis deals with the optimization of the input data provided to an image-based algorithm or video sequence, such as SLAM (camera localization algorithm, from a sequence of images), which relies on robust filters. These algorithms are able to consider only relevant or unambiguous data (so-called inliers, as opposed to outliers) if these are dominant in the input image. In difficult situations where outliers are the majority of data (massive occultation of the image by an object with incoherent motion with that of the camera, reflective surfaces, etc.), the localization algorithm fails to provide a valid result. The objective of the thesis is to develop a process of learning by reinforcement, without any a priori about the scene, by using deep neural networks, in order to automatically segment future input images into valid data (inliers) and aberrant data (outliers), which will be, and this is new with regard to the state of the art, a segmentation specific to the algorithm and a given context. This approach also differs from state-of-the-art methods in that the learning is automatically carried out according to the results provided by the algorithm studied on functional cases, and not from a priori knowledge, such as the detector of a pedestrian or moving vehicle detector or other information. Moreover, the learning data is also provided by the studied algorithm itself, considerably simplifying the learning process, when this is sometimes not possible, for example when the context in which the algorithm is used is not known in advance. During the thesis, this approach will then be extended to other algorithms of the same nature (SLAM-like algorithm) and then to other classes of algorithms based on images or video sequences based on robust filters.