Graphes pour représenter les espaces latents des réseaux neuronaux profonds

Graphs for deep learning representations

• Auteur / Autrice : Carlos Eduardo Rosar Kós Lassance
• Direction : Michel Jézéquel
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 15/10/2020
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Lab-STICC_IMTA_CACS_IAS - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (Brest ; 2012-....)
• Jury : Examinateurs / Examinatrices : Michel Jézéquel, Pierre Borgnat, Stephan Günneman, Sophie Achard, Antonio Ortega, Vincent Gripon
• Jury : Rapporteurs / Rapporteuses : Pierre Borgnat, Stephan Günneman
• DOI : 10.70675/71e4bd29z1d6az4a2bza3c2z868925d41708

Mots clés

Mots clés contrôlés

Apprentissage automatique

Réseaux neuronaux (informatique)

Traitement du signal -- Techniques numériques

Théorie des graphes

Mots clés libres

Apprentissage statistique

Réseaux de neurones profonds

Traitement de signal sur graphe

Machine Learning

Deep neural networks

Graph signal processing

Résumé

Ces dernières années, les méthodes d'apprentissage profond ont atteint l'état de l'art dans une vaste gamme de tâches d'apprentissage automatique, y compris la classification d'images et la traduction automatique. Ces architectures sont assemblées pour résoudre des tâches d'apprentissage automatique de bout en bout. Afin d'atteindre des performances de haut niveau, ces architectures nécessitent souvent d'un très grand nombre de paramètres. Les conséquences indésirables sont multiples, et pour y remédier, il est souhaitable de pouvoir comprendre ce qui se passe à l'intérieur des architectures d'apprentissage profond. Il est difficile de le faire en raison de: i) la dimension élevée des représentations ; et ii) la stochasticité du processus de formation. Dans cette thèse, nous étudions ces architectures en introduisant un formalisme à base de graphes, s'appuyant notamment sur les récents progrès du traitement de signaux sur graphe (TSG). À savoir, nous utilisons des graphes pour représenter les espaces latents des réseaux neuronaux profonds. Nous montrons que ce formalisme des graphes nous permet de répondre à diverses questions, notamment: i) mesurer des capacités de généralisation ;ii) réduire la quantité de des choix arbitraires dans la conception du processus d'apprentissage ; iii)améliorer la robustesse aux petites perturbations ajoutées sur les entrées ; et iv) réduire la complexité des calculs.

In recent years, Deep Learning methods have achieved state of the art performance in a vast range of machine learning tasks, including image classification and multilingual automatic text translation. These architectures are trained to solve machine learning tasks in an end-to-end fashion. In order to reach top-tier performance, these architectures often require a very large number of trainable parameters. There are multiple undesirable consequences, and in order to tackle these issues, it is desired to be able to open the black boxes of deep learning architectures. Problematically, doing so is difficult due to the high dimensionality of representations and the stochasticity of the training process. In this thesis, we investigate these architectures by introducing a graph formalism based on the recent advances in Graph Signal Processing (GSP). Namely, we use graphs to represent the latent spaces of deep neural networks. We showcase that this graph formalism allows us to answer various questions including: ensuring generalization abilities, reducing the amount of arbitrary choices in the design of the learning process, improving robustness to small perturbations added to the inputs, and reducing computational complexity.