Analyse volumétrique et reconnaissance de formes de formes arbitraires dans les réseaux neuronaux en utilisant des représentations dans le domaine de Fourier

Volumetric Analysis and Arbitrary-Shaped Pattern Recognition in Neural Networks Using Fourier Domain Representations

• Auteur / Autrice : Dmitrii Zhemchuzhnikov
• Direction : Sergei Grudinin
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 21/10/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble, Isère, France ; 2007-....)
• Jury : Président / Présidente : Valérie Perrier
• Jury : Examinateurs / Examinatrices : Élodie Laine
• Jury : Rapporteurs / Rapporteuses : Pablo Chacón, Risi Kondor

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage profond

Analyse de Fourier

Mots clés libres

Apprentissage automatique

Analyse volumétrique

Réseaux neuronaux

Traitement d'image

Domaine de Fourier

Intelligence artificielle

Machine Learning

Volumetric Analysis

Neural Networks

Image Processing

Fourier Domain

Artificial Intelligence

Résumé

Dans le domaine en constante évolution de l'apprentissage profond pour l'analyse de données spatiales, l'exploration des structures de données tridimensionnelles (3D) présente des défis uniques et des opportunités significatives pour les avancées technologiques dans la modélisation de la physique du monde réel. La thèse présentée se concentre sur le développement et l'évaluation de méthodes de détection de motifs de formes arbitraires dans des données volumétriques régulières et irrégulières, en mettant l'accent sur les approches basées sur le domaine de Fourier. En particulier, la thèse aborde les défis de l'invariance et de l'équivariance des rotations globales et locales. Les techniques développées permettent un apprentissage efficace de la hiérarchie des motifs spatiaux et une interprétation précise des opérations effectuées dans les réseaux de neurones. La recherche détaillée dans cette thèse est segmentée en différentes parties, chacune dédiée à un aspect différent de l'analyse des données.Ci-dessous, je présente dix méthodes. Malgré ce grand nombre, seules trois ont abouti à des publications et prépublications. Nous avons testé de nombreuses idées de manière exhaustive, mais la plupart avaient des applications limitées.J'ai commencé la thèse avec une méthode basée sur Fourier, 6DCNN, inspirée par des techniques de calcul provenant des domaines de la diffusion de rayons X/neutrons et de la cosmologie. Cette approche a démontré des performances compétitives sur les données de structures protéiques, aboutissant à un article de conférence accepté à la conférence AAAI-22 avec un taux d'acceptation de 15%.J'ai continué à étendre et à appliquer ces idées à des données provenant d'autres domaines. Après de multiples modifications de la méthode initiale et de nombreuses tentatives d'application des approches basées uniquement sur Fourier aux données moléculaires, nous avons conclu que la représentation de Fourier présente des limitations pour capturer les motifs à haute résolution ou ceux dans des données irrégulières.Cependant, au cours de mes études doctorales, j'ai découvert que la représentation de Fourier dans l'espace de rotation peut être bénéfique lors du traitement de données régulières. En conséquence, j'ai développé l'approche ILPONet, invariante aux orientations locales des motifs. Nous avons appliqué cette méthode aux images médicales et aux représentations régulières des structures protéiques. Ce travail a été récemment accepté à la conférence ECML-24 avec un taux d'acceptation de 24%. Une autre approche, EquiLoPONet, est un réseau convolutionnel qui fournit une équivariance analytique par rapport à l'espace de rotation continu. Nous avons soumis cette méthode sous forme de prépublication et avons également postulé pour les actes de conférence (actuellement en cours de révision).Une autre idée prometteuse est le Réseau de Convolution de Nuage de Points, où j'ai abandonné la représentation de Fourier pour les données irrégulières. Nous n'avons toutefois pas encore exploré pleinement cette méthode.L'exploration et le développement de ces méthodes soulignent le potentiel significatif et les défis inhérents à l'utilisation de l'apprentissage profond pour l'analyse de données spatiales 3D. Grâce à une évaluation rigoureuse et à un raffinement itératif, cette thèse met en évidence les forces et les limitations des approches basées sur le domaine de Fourier, en particulier leur applicabilité aux données régulières et les défis posés par les données irrégulières. Les contributions de cette thèse offrent des perspectives précieuses pour les recherches futures et les applications dans divers domaines, y compris l'imagerie médicale et l'analyse des données moléculaires, ouvrant la voie à des modèles d'apprentissage profond plus robustes et polyvalents.

In the dynamically evolving field of deep learning for spatial data analysis, exploring three-dimensional (3D) data structures presents unique challenges and significant opportunities for technological advancements in modeling real-world physics. The presented thesis centers on developing and evaluating methods for detecting arbitrary-shaped patterns in regular and irregular volumetric data, focusing on the Fourier domain-based approaches. In particular, the thesis addresses the challenges of global and local rotation invariance and equivariance. The developed techniques enable effective learning of the hierarchy of spatial patterns and the accurate interpretation of operations performed in neural networks. The research detailed in this thesis is segmented into distinct parts, each dedicated to a different aspect of data analysis.Below, I present ten methods. Despite this large number, only three resulted in publications and preprints. We exhaustively tested many ideas, but most had limited applications.I started the thesis with a Fourier-based method, 6DCNN, inspired by computational techniques from X-ray/neutron scattering and cosmology domains. This approach demonstrated competitive performance on protein structure data, resulting in a proceedings paper accepted to the AAAI-22 conference with an acceptance rate of 15%.I continued to extend and apply these ideas to data from other domains. After multiple modifications of the initial method and numerous attempts to apply Fourier-only approaches to molecular data, we concluded that the Fourier representation has limitations in capturing high-resolution patterns or those in irregular data.However, during my doctoral studies, I discovered that the Fourier representation in the rotational space can be beneficial when processing regular data. As a result, I developed the ILPONet approach, invariant to local pattern orientations. We applied this method to medical images and regular representations of protein structures. This work was recently accepted to the ECML-24 conference with an acceptance rate of 24%. Another approach, EquiLoPONet, is a convolutional network that provides analytical equivariance concerning the continuous rotational space. We submitted this method as a preprint and also applied for conference proceedings (currently under revision).Another promising idea is the Point Cloud Convolution Network, where I abandoned the Fourier representation for irregular data. We have not fully explored this method, however.The exploration and development of these methods underscore the significant potential and inherent challenges in using deep learning for 3D spatial data analysis. Through rigorous evaluation and iterative refinement, this thesis highlights the strengths and limitations of Fourier domain-based approaches, particularly their applicability to regular data and challenges with irregular data. The contributions of this thesis offer valuable insights for future research and applications in various fields, including medical imaging and molecular data analysis, paving the way for more robust and versatile deep learning models.