Raisonnement relationnel spatial en apprentissage : apprentissage profond et groupement de graphes

Spatial Relational Reasoning in Machine Learning : Deep Learning and Graph Clustering

• Auteur / Autrice : Mateus Riva
• Direction : Isabelle Bloch, Pietro Gori
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire Traitement et Communication de l'Information / LTCI
• Partenaire(s) de recherche : Equipe de recherche : IMAGES : Image, Modélisation, Analyse, GEométrie, Synthèse
• Partenaire(s) de recherche : établissement opérateur inscription : Télécom Paris (Palaiseau ; 1977-....)
• Jury : Président / Présidente : Céline Hudelot
• Jury : Examinateurs / Examinatrices : Céline Hudelot, Sébastien Adam, Camille Kurtz, Olivier Nempont, Jean-Baptiste Fasquel, Florian Yger
• Jury : Rapporteurs / Rapporteuses : Sébastien Adam, Camille Kurtz

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Réseaux neuronaux (informatique)

Vision par ordinateur

Apprentissage automatique

Mots clés libres

Réseaux de Neurones

Information structurelle

Vision par Ordinateur

Graphes

Relations spatiales

Raisonnement spatiale

Raisonnement avec prioris

Apprentissage automatique

Neural Networks

Structural priors

Computer Vision

Graphs

Spatial relations

Spatial reasoning

Machine learning

Deep learning

Résumé

Cette thèse étudie les capacités des méthodes d'apprentissage automatique à raisonner sur des relations spatiales, en particulier sur les relations directionnelles, et l'utilisation de connaissances relationnelles, connues a priori, par ces méthodes. Il existe de nombreux travaux dans le domaine de l'exploitation de connaissances sur les relations dans des méthodes d'apprentissage automatique. Cependant, ce corpus de travaux laisse encore plusieurs questions ouvertes. Tout au long de cette thèse, nous explorons, étudions et tentons d'expliquer différentes questions de recherche liées à ces questions.Nous proposons une amélioration de l'apprentissage des réseaux de neurones convolutionnels (CNN) via une fonction de coût de régularisation intégrant l'information relationnelle. Pour cela, nous proposons deux nouvelles fonctions de coût qui favorisent la satisfaction des relations pendant l'entraînement des CNN, et nous concevons des expériences synthétiques pour montrer leur impact. Alors que les fonctions proposées montrent des améliorations par rapport à un modèle de base non modifié dans des scénarios synthétiques spécifiques et stricts, l'impact sur des scénarios plus généraux est moins significatif. Ce résultat n'est pas facile à expliquer, car l'entrainement des réseaux neuronaux est un processus opaque, et une exploration plus approfondie est nécessaire pour comprendre comment un CNN apprend (ou n'apprend pas) à raisonner en utilisant des informations relationnelles.Pour mieux comprendre comment un CNN peut apprendre à raisonner en utilisant des informations relationnelles, nous proposons un large éventail d'expériences synthétiques. Nous explorons les processus qui permettent, facilitent ou entravent le raisonnement "standard" des CNN sur les relations. Nous proposons une expérience fondamentale pour démontrer qu'un CNN de base, non modifié, est capable de raisonner sur les relations dans certains scénarios. Ensuite, nous explorons quelles relations sont apprises par le CNN, en effectuant l'inférence sur des scènes où les relations a priori sont perturbées, en comparant les résultats, et en entraînant et testant les CNN sur des données synthétiques avec plus ou moins de relations disponibles. Nous étudions ensuite les limites posées au raisonnement relationnel par le champ réceptif du réseau, et approfondissons notre analyse sur des situations où la quantité de données d'entraînement est insuffisante. Enfin, nous examinons à quel moment de la formation les relations sont satisfaites, ce qui permet de comprendre à quel moment les relations elles-mêmes sont apprises.En suivant une approche de groupement de noeuds dans des graphes pour l'utilisation des informations relationnelles, nous utilisons les relations dans un contexte d'apprentissage automatique différent, celui de la découverte de communautés dans des graphes. Nous formulons le groupement dans des graphes comme un problème de correspondance inexacte entre le graphe à analyser et un graphe modèle qui encode les connaissances a priori sur la façon dont les communautés ou les clusters sont liés les uns aux autres. Nous comparons cette approche avec les approches traditionnelles de groupement dans des graphes sur un ensemble de graphes synthétiques, pour mettre en évidence les avantages d'une approche relationnelle, ainsi que sur des graphes réels.

This thesis studies the capabilities of machine learning methods for reasoning on spatial relationships, with a particular focus on directional relationships, and the use of prior relational information by these methods. There are many works in the field of applying knowledge on relationships to machine learning methods. However, this body of work still leaves several open questions. Throughout this thesis, we explore, investigate and attempt to explain different research questions linked to this field.We propose an improvement to the training of CNNs via a regularisation loss function based on relational information. To this end, we propose two novel loss functions which reward relationship satisfaction during CNN training, and design synthetic experiments to showcase their impact. While the proposed loss functions show improvements over an unmodified baseline in specific, strict synthetic scenarios, the impact on more ``generic'' training scenarios is less significant. This result is not easily explainable, as neural network training is a significantly opaque process, and as such, a deeper exploration is required to understand how a CNN learns (or fails to learn) to reason using relational information.To further understanding of how a CNN can learn to reason using relational information, we propose a wide array of distinct synthetic experiments. We explore the processes which enable, facilitate, or hinder ``standard'' CNN reasoning on relationships. We propose a fundamental experience to demonstrate that a basic, unmodified CNN is capable of relational reasoning in some scenarios. Next, we explore which relationships are learned by the CNN, by performing inference on scenes where the prior relationships are disturbed, by recording the difference in the results, and by training and testing CNNs on synthetic data with more or less relationships available. We then investigate the limits placed on relational reasoning by the network receptive field, as well as deepen our analysis on situations where the amount of training data is insufficient. Finally, we explore at which moment during training relationships are satisfied, as a proxy for understanding at which moment the relationships themselves are learned.Following a graph-clustering approach to the usage of relational information, we explore prior relationships in a different machine learning context, that of community discovery on graphs. We formulate graph clustering as an inexact matching problem between the graph to be clustered and a model graph which encodes prior knowledge on how the communities or clusters relate to each other. We compare this approach with traditional graph clustering approaches on a set of synthetic graphs, to showcase the advantages of a relational-aware approach, as well as on real graphs.