Application du deep learning pour la représentation de graphes à différentes échelles

Deep learning techniques for graph embedding at different scales

• Auteur / Autrice : Alexis Galland
• Direction : Marc Lelarge
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 17/12/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Konstantin Avrachenkov
• Jury : Examinateurs / Examinatrices : Marc Lelarge, Konstantin Avrachenkov, Pierre Borgnat, Nicolas Vayatis, Nicolas Tremblay, Oana Balalau
• Jury : Rapporteurs / Rapporteuses : Pierre Borgnat, Nicolas Vayatis

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Graphe

Réseau

Apprentissage profond

Traitement du signal

Classification

Plongement

Analyse spectrale

Graph

Network

Deep learning

Signal processing

Classification

Embedding

Spectral analysis

Résumé

Les graphes sont présents dans de nombreux domaines de recherche, que ce soit pour représenter des molécules, des réseaux sociaux ou des réseaux de transport. Un graphe est un outil mathématique utilisé pour représenter des relations entre des objets. Il est composé de nœuds reliés entre eux par des liens, appelés arêtes. Récemment, les techniques d’apprentissage profond ont prouvé leur efficacité dans de nombreux domaines tels que le traitement de texte ou l’analyse d’images. Ce constat a motivé de nombreux travaux de recherche visant à généraliser les techniques d’apprentissage profond à l’analyse de graphes. Ainsi, des algorithmes se basant notamment sur des réseaux de neurones et des convolutions ont été développés afin de répondre à des problématiques de classification de nœuds et de graphes. Au cours de cette thèse, nous analysons les représentations vectorielles des nœuds, des communautés ou de l’ensemble du graphe qui émerge de ces modèles. Ces représentations, à différentes échelles, encodent des informations hierarchiques sur le graphe. En se basant sur ces vectorialisations de graphes, nous proposons de nouvelles architectures afin de répondre à des tâches de classification de nœuds et classification de graphes. Nous étudions plusieurs applications de ces nouvelles techniques, notamment le problème d’obtenir une représentation invariante par permutation des nœuds ou encore l’interprétabilité de ces algorithmes.

In many scientific fields, studied data have an underlying graph or manifold structure, such as communication networks (whether social or technical), knowledge graphs or molecules. A graph is composed of nodes, also called vertices, connected together by edges. Recently, deep learning algorithms have become state-of-the-art models in many fields, and in particular in natural language processing and image analysis. It led the way to a great line of studies to generalize deep learning models to graphs. In particular, several formulations of convolutional neural networks were proposed and research is carried to develop new layers and network architectures to graphs. Those models aim at solving different tasks such as node classification, link prediction or graph classification. In this work, we study node, subgraph or graph embeddings produced by graph neural networks. These embeddings at different scales encode hierarchical representations of graphs. Based on these embedding techniques, we propose new deep learning architectures to tackle node classification or graph classification tasks. We study several applications of these new techniques. For example, we study the problem of having a graph embedding invariant by node permutation and the interpretability of graph neural networks.