Étude de l'apprentissage et de la généralisation des réseaux profonds en classification d'images

Study on training methods and generalization performance of deep learning for image classification

• Auteur / Autrice : Michaël Blot
• Direction : Matthieu Cord
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/11/2018
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Nicolas Thome, Liva Ralaivola, Aurélien Bellet
• Jury : Rapporteurs / Rapporteuses : Christian Wolf, Alain Rakotomamonjy

Mots clés

Mots clés contrôlés

Classification

Illustrations, images, etc.

Apprentissage supervisé (intelligence artificielle)

Apprentissage profond

Mots clés libres

Deep learning

Classification d'image

Régularisation

Optimisation

Généralisation

Théorie de l'information

Apprentissage supervisé

Architecture

Deep learning

Image classification

Regularization

Optimization

Generalization

Information Theory

Supervised learning

Architecture

Résumé

L'intelligence artificielle connait une résurgence ces dernières années. En cause, la capacité croissante à rassembler et à stocker un nombre considérable de données digitalisées. Ces immenses bases de données permettent aux algorithmes de machine learning de répondre à certaines tâches par apprentissage supervisé. Parmi les données digitalisées, les images demeurent prépondérantes dans l’environnement moderne. D'immenses datasets ont été constitués. De plus, la classification d'image a permis l’essor de modèles jusqu'alors négligés, les réseaux de neurones profonds ou deep learning. Cette famille d'algorithmes démontre une grande facilité à apprendre parfaitement des datasets, même de très grande taille. Leurs capacités de généralisation demeure largement incomprise, mais les réseaux de convolutions sont aujourd'hui l'état de l'art incontesté. D'un point de vue recherche et application du deep learning, les demandes vont être de plus en plus exigeantes, nécessitant de fournir un effort pour porter les performances des réseaux de neurone au maximum de leurs capacités. C'est dans cet objectif que se place nos recherches dont les contributions sont présentées dans cette thèse. Nous nous sommes d'abord penchés sur la question de l'entrainement et avons envisagé d’accélérer celui ci grâce à des méthodes distribuées. Nous avons ensuite étudié les architectures dans le but de les améliorer sans toutefois trop augmenter leurs complexités. Enfin nous avons particulièrement étudié la régularisation de l'entrainement des réseaux. Nous avons envisagé un critère de régularisation basée sur la théorie de l'information que nous avons déployé de deux façons différentes.

Artificial intelligence is experiencing a resurgence in recent years. This is due to the growing ability to collect and store a considerable amount of digitized data. These huge databases allow machine learning algorithms to respond to certain tasks through supervised learning. Among the digitized data, images remain predominant in the modern environment. Huge datasets have been created. moreover, the image classification has allowed the development of previously neglected models, deep neural networks or deep learning. This family of algorithms demonstrates a great facility to learn perfectly datasets, even very large. Their ability to generalize remains largely misunderstood, but the networks of convolutions are today the undisputed state of the art. From a research and application point of view of deep learning, the demands will be more and more demanding, requiring to make an effort to bring the performances of the neuron networks to the maximum of their capacities. This is the purpose of our research, whose contributions are presented in this thesis. We first looked at the issue of training and considered accelerating it through distributed methods. We then studied the architectures in order to improve them without increasing their complexity. Finally, we particularly study the regularization of network training. We studied a regularization criterion based on information theory that we deployed in two different ways.