Détection automatique de relations visuelles

Learning to detect visual relations

• Auteur / Autrice : Julia Peyre
• Direction : Josef Sivic, Ivan Laptev, Cordelia Schmid
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/08/2019
• Etablissement(s) : Paris Sciences et Lettres (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Models of visual object recognition and scene understanding (Paris)
• Jury : Président / Présidente : Frédéric Jurie
• Jury : Examinateurs / Examinatrices : Josef Sivic, Ivan Laptev, Cordelia Schmid, Frédéric Jurie, Svetlana Lazebnik, Matthieu Cord
• Jury : Rapporteurs / Rapporteuses : Svetlana Lazebnik, Matthieu Cord

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Vision par ordinateur

Détection de relations visuelles

Compréhension d’images

Image et language

Apprentissage faiblement supérvisé

Apprentissage profond

Computer vision

Visual relation detection

Scene understanding

Image and language

Weakly-supervised learning

Deep learning

Résumé

Nous étudions le problème de détection de relations visuelles de la forme (sujet, prédicat, objet) dans les images, qui sont des entités intermédiaires entre les objets et les scènes visuelles complexes. Cette thèse s’attaque à deux défis majeurs : (1) le problème d’annotations coûteuses pour l’entrainement de modèles fortement supervisés, (2) la variation d’apparence visuelle des relations. Nous proposons un premier modèle de détection de relations visuelles faiblement supervisé, n’utilisant que des annotations au niveau de l’image, qui, étant donné des détecteurs d’objets pré-entrainés, atteint une précision proche de celle de modèles fortement supervisés. Notre second modèle combine des représentations compositionnelles (sujet, objet, prédicat) et holistiques (triplet) afin de mieux modéliser les variations d’apparence visuelle et propose un module de raisonnement par analogie pour généraliser à de nouveaux triplets. Nous validons expérimentalement le bénéfice apporté par chacune de ces composantes sur des bases de données réelles.

In this thesis, we study the problem of detection of visual relations of the form (subject, predicate, object) in images, which are intermediate level semantic units between objects and complex scenes. Our work addresses two main challenges in visual relation detection: (1) the difficulty of obtaining box-level annotations to train fully-supervised models, (2) the variability of appearance of visual relations. We first propose a weakly-supervised approach which, given pre-trained object detectors, enables us to learn relation detectors using image-level labels only, maintaining a performance close to fully-supervised models. Second, we propose a model that combines different granularities of embeddings (for subject, object, predicate and triplet) to better model appearance variation and introduce an analogical reasoning module to generalize to unseen triplets. Experimental results demonstrate the improvement of our hybrid model over a purely compositional model and validate the benefits of our transfer by analogy to retrieve unseen triplets.