Labellisation Automatique pour l'Exploration de Collection d'Images

par Pierre Jacob

Projet de thèse en STIC - Cergy

Sous la direction de Aymeric Histace et de Edouard Klein.

Thèses en préparation à Cergy-Pontoise , dans le cadre de ED SI - Sciences et Ingénierie , en partenariat avec Equipes Traitement de l'Information et Systèmes (laboratoire) depuis le 01-01-2017 .


  • Résumé

    Nous nous intéressons à l'extraction d'informations sémantiques d'une image. La segmentation de l'image et la reconnaissance des objets qui s'y trouvent n'est pas à elle seule toujours suffisante à l'exploitation automatique des images. Nous souhaitons extraire de l'image d'une part la relation entre les objets qui s'y trouvent (on peut comprendre cela comme relier les objets par des verbes : passer de ['homme', 'enfant', 'saxophone'] à « Un enfant écoute un homme jouer du saxophone ») et d'autres part extraire les relations entre les objets et un contexte explicite (e.g. « Un homme agresse la victime », où « victime » est ici une personne désignée par l'opérateur du système) ou implicite (e.g. « Un homme tire en l'air pour célébrer un mariage »). Les réseaux de neurones profonds ont permis ces dernières années des avancées dans le domaine ('Image captioning') saluées jusque dans la presse grand public, au prix d'une puissance de calcul considérable et d'une base d'entraînement fournie. Nous souhaitons poursuivre dans cette voie en prenant en compte les contraintes opérationnelles des enquêteurs de la Gendarmerie Nationale, qui ont besoin d'analyser en un temps limité (par exemple lors des quelques heures d'une garde à vue) un volume d'image croissant, atteignant parfois le TeraOctet. Il s'agit donc d'améliorer les résultats de l'état de l'art, et de les porter dans un cadre où la bande passante, la puissance de calcul, le temps humain disponible pour l'annotation des exemples ou pour le retour vers la machine dans le cadre d'un schéma d'apprentissage actif sont tous extrêmement limités.

  • Titre traduit

    Automatic Labelling for Image Collections Exploration


  • Résumé

    We are interested in semantic information retrieval from images. Image segmentation and object recognition may be insufficient for automatic image exploitation. The objective is to extract the links between, first, the objects inside an image and second, the objects and an explicit or implicit context. Deep convolutional neural networks allowed excellent progress in image captioning and were greeted in the Public Press, but they require significant computing power and an expanded training base. We want to continue in this way, taking into account National Police investigators' operational constraints which need to analyse in a limited period of time an increasing data volume. Our aim is to improve the state of the art results to be able to use them where bandwidth, computing power and human time for example annotation are limited, all the more so for active learning solution.