Apprentissage autosupervisé pour la découverte de structures complexes dans des images

Discovering Complex Structures in Images using Large-Scale Self-Supervised Learning

• Auteur / Autrice : Timothée Darcet
• Direction : Julien Mairal
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Informatique
• Date : Inscription en doctorat le 21/02/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann
• Partenaire(s) de recherche : Equipe de recherche : LEAR : Learning and Recognition in Vision

Mots clés

Mots clés libres

Apprentissage profond

Vision par ordinateur

Apprentissage autosupervisé

Apprentissage autosupervisé à grande échelle

Deep learning

Computer vision

Self-supervised learning

Large-scale self-supervised learning

Résumé

La plupart des systèmes de vision par ordinateur modernes utilisent des réseaux de neurones, souvent préentrainés sur une tâche différente de celle considérée. La plupart du temps, ces réseaux sont préentrainés sur Imagenet, un jeu de données de classification d'images. Récemment, des nouvelles méthodes utilisent de l'apprentissage autosupervisé pour utiliser des données non annotées, qui sont disponibles en plus grande quantité que les données annotées. La plupart des efforts de recherche en apprentissage autosupervisé s'est concentré sur le développement de méthodes qui permettent d'obtenir des bons résultats sur quelques tâches classiques, comme la classification sur Imagenet. Le défi que nous proposons de relever est de découvrir des structures plus complexes que de simples catégories dans les données étudiées. En effet, nous pensons que c'est en tentant de résoudre des tâches plus complexes que la classification que les modèles de vision peuvent obtenir des nouveaux gains de performance. Les structures que nous proposons de découvrir incluent des informations géométriques de scènes, des règles temporelles comme les règles physique, et des informations de relations entre objets ou concepts, comme des relations de causalité.

Most modern computer vision systems use neural networks, often pre-trained on a different task than the one under consideration. Most of the time, these networks are pre-trained on Imagenet, an image classification dataset. Recently, new methods use self-supervised learning to use unannotated data, which is available in larger quantities than annotated data. Most research efforts in self-supervised learning have focused on developing methods that perform well on a few classical tasks, such as classification on Imagenet. The challenge we propose to address is to discover structures more complex than simple categories in the data under study. Indeed, we believe that it is by attempting to solve tasks more complex than classification that vision models can achieve new performance gains. The structures we propose to discover include geometric information of scenes, temporal rules such as physical rules, and relationships information between objects or concepts, such as causal relationships.