Les méthodes d'apprentissage efficaces en annotation pour la découverte et la détection d'objets

Annotation-efficient learning for object discovery and detection

• Auteur / Autrice : Van Huy Vo
• Direction : Jean Ponce
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 28/11/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : WILLOW
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Yannis Avrithis
• Jury : Examinateurs / Examinatrices : Jean Ponce, Tinne Tuytelaars, Andrew Zisserman, Patrick Perez, Cordelia Schmid
• Jury : Rapporteurs / Rapporteuses : Tinne Tuytelaars, Andrew Zisserman

Mots clés

Mots clés libres

Découverte d'objets

Détection d'objets

Apprentissage non-supervisé

Apprentissage actif

Apprentissage faiblement supervisé

Optimisation

Object discovery

Object detection

Unsupervised learning

Active learning

Weakly-supervised learning

Optimization

Résumé

Les modèles de détection d'objets dans les images sont des composants importants de systèmes intelligents comme les véhicules autonomes ou les robots. Ils sont typiquement obtenus par l'apprentissage supervisé, ce qui nécessite de grands jeux de données annotées à la main. La construction de tels jeux de données est pourtant coûteuse en temps et en argent, ce qui limite souvent leur taille et leur diversité et, par conséquent, restreint l'applicabilité des détecteurs d'objets. Afin d'éviter ces limitations, des alternatives qui demandent moins de données annotées pour la détection d'objets ont été proposées, comprenant l'apprentissage semi-supervisé, faiblement supervisé, actif ou non-supervisé. L'objectif de cette thèse est de développer de telles méthodes. En particulier, nous nous concentrons sur le problème de découverte d'objets non-supervisée (UOD) et une combinaison de l'apprentissage faiblement supervisé et actif pour la détection d'objets. Étant donné une collection d'images, la découverte d'objets non-supervisée vise à trouver les images qui contiennent les objets de la même catégorie, et localiser ces objets. Dans la première partie de la thèse, nous proposons quatre approches -- OSD, rOSD, LOD et LOST -- pour résoudre ce problème. Ces méthodes améliorent graduellement l'efficacité et l'applicabilité de l'UOD. OSD et rOSD supposent qu'il existe une structure de graphe dans les collections d'images où celles-ci sont les nœuds et deux images sont connectées si elles contiennent des objets d'une même catégorie. Elles reformulent l'UOD comme un problème d'optimisation discrète où les variables binaires décrivent la structure du graphe et les propositions de régions des images. Par rapport à OSD, rOSD introduit des modifications qui réduisent le coût de calcul et améliorent la performance. Différente d'OSD et rOSD, LOD formule l'UOD comme un problème de classement dans le graphe dont les nœuds sont les propositions de régions. Cela permet d'utiliser les méthodes de classement existantes pour trouver des noeuds bien connectés dans les graphes comme PageRank [Page, 1999]. Ces méthodes sont hautement efficaces et parallélisables, et permettent d'appliquer l'UOD à des jeux de données très grands. Finalement, LOST ne considère pas de relation entre les images. Elle se base sur la puissance des descripteurs des transformers auto-supervisés [Caron, 2021] et propose une procédure simple pour trouver un seul objet dans l'image. Puis, elle se sert des objets trouvés comme pseudo annotation pour entraîner des détecteurs d'objets qui sont capables de lier les images similaires et trouver plus d'objets par image. Il est important d'investiguer les capacités des méthodes non-supervisées mais, dans la pratique, nous avons souvent accès à certaines sources de supervision. Nous considérons dans la deuxième partie de la thèse un scénario pratique pour entraîner un détecteur d'objets où toutes les images d'entraînement possèdent une annotation faible (les catégories de ses objets) et un petit budget d'annotation additionnel est disponible. Nous entraînons d'abord un détecteur avec les annotations faibles. Puis, nous nous servons du budget additionnel pour annoter un petit nombre d'images d'entraînement qui sont choisies avec les stratégies d'apprentissage actif avec les boites englobantes. Nous peaufinons finalement le détecteur avec toutes les annotations disponibles. En particulier, nous proposons BiB, une stratégie d'apprentissage actif qui choisit un ensemble divers des images où le détecteur fait le plus d'erreurs. Nous montrons que BiB surpasse toutes les stratégies d'apprentissage actif conventionnelles. Notre méthode améliore significativement la performance du détecteur faiblement supervisé avec seulement un petit coût d'annotation additionnel (1-10 images par classes). Elle démontre alors un meilleur compromis entre la performance de détection et le coût d'annotation que l'apprentissage faiblement et complètement supervisé.

Object detectors are important components of intelligent systems such as autonomous vehicles or robots. They are typically obtained with fully-supervised training, which requires large manually annotated datasets whose construction is time-consuming and costly. This thesis studies alternatives to fully-supervised object detection that work with less or even no manual annotation. In particular, we focus on the problem of unsupervised object discovery (UOD), and a combination of active and weakly-supervised learning for object detection. Given an image collection without manual annotation, unsupervised object discovery aims at identifying pairs of images that contain similar objects and localizing these objects. This is a challenging problem due to the absence of annotation and ambiguities in object definition. We discuss in the first part of this thesis several methods to discern these ambiguities and overcome the challenges, in increasing effectiveness and scalability: OSD, rOSD, LOD and LOST. In OSD, we define objects as visual patterns that appear frequently in the image collection, and formulate UOD as a discrete optimization problem over a set of binary variables that describe the relation between images and objects in them. An approximate solution to this problem is obtained either by solving a convex relaxed problem or applying a greedy block-coordinate ascent procedure. rOSD extends OSD, introducing several modifications that reduce computational cost and diversify the returned regions. Consequently, it enables the effective discovery of multiple objects per image and the application of UOD on larger datasets. Different from OSD and rOSD, LOD reformulates UOD as a ranking problem based on the analogy between repetitive appearing visual patterns in the image collection and well-connected nodes in a graph of region proposals. This allows the application of existing ranking methods to find well-connected nodes in graphs that are highly efficient and parallelizable such as PageRank [Page, 1999], enabling effective UOD on very large datasets. Finally, LOST does not consider inter-image similarity. It relies instead on a simple seed-growing method that exploits features from recent powerful self-supervised transformers [Caron, 2021] to discover one object in each image. It then uses the discovered objects as pseudo annotation to train object detectors, in a class-agnostic or class-aware fashion, that are able to link similar images together and discover more than one object per image. Exploring the capacities of unsupervised methods is important, but in practice, we often have access to certain sources of annotation. We consider in the second part of this thesis a practical scenario for training an object detector when all training images have weak annotation (class labels) and an additional small budget for annotation is available. We propose to first train an object detector with the weak annotation. We then use the budget to annotate a small number of images that are carefully selected by an active learning strategy with bounding boxes. Finally, we fine-tune the detectors with all available annotation. This process is repeated several times to gradually improve the detector. In particular, we introduce BiB, an active learning technique that is designed to target known confusions of weakly-supervised object detectors, e.g., detecting object parts instead of objects or grouping nearby objects together. We first find images on which such confusions occur, then select a diverse set from those selected to be fully annotated. We show that fine-tuning weakly-supervised object detectors with full annotation on a few images chosen with BiB improves their performance, and reduces significantly the performance gap with fully-supervised object detectors. This demonstrates that our proposed pipeline offers a better trade-off between annotation cost and effectiveness than both weakly- and fully-supervised object detection.