Quand les forêts aléatoires rencontrent les réseaux de neurones : une analyse à échantillon fini

When Random Forests Meet Neural Networks : A Finite-Sample Analysis

• Auteur / Autrice : Ludovic Arnould
• Direction : Gérard Biau, Claire Boyer, Erwan Scornet
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 20/10/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités, statistique et modélisation (Paris ; 2018-....)
• Jury : Président / Présidente : Sylvain Le Corff
• Jury : Examinateurs / Examinatrices : Gilles Louppe, Florence d' Alché-Buc
• Jury : Rapporteurs / Rapporteuses : Sylvain Arlot, Jason Klusowski

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Forêts d'arbres de décision

Apprentissage profond

Apprentissage automatique

Mots clés libres

Apprentissage machine

Statistiques

Apprentissage profond

Machine Learning

Statistics

Deep Learning

Résumé

En substance, ce doctorat vise à explorer les intersections entre des méthodes basées sur des arbres de décisions et des architectures neuronales, recherchant les synergies potentielles, les avantages et les fondements théoriques d'un point de vue statistique. Le cadre théorique est généralement celui de la régression non paramétrique à échantillons finis. Deux travaux (Chapitres 2 et 3) se concentrent sur l'algorithme Deep Forest (DF, Zhou et al. 2017), qui superpose des Random Forests (RF) à la manière d'un réseau neuronal (NN). Dans un premier temps nous analysons théoriquement l'avantage d'empiler des arbres dans une architecture DF simplifiée (Chapitre 2), et dans un second temps, nous utilisons une DF ainsi que d'autres méthodes d'arbres pré-entraînées, afin d'initialiser un NN et ainsi améliorer ses performances (Chapitre 3). Dans un développement ultérieur, nous examinons le comportement des RF dans le régime d'interpolation, élargissant ainsi l'étude des estimateurs interpolants (tels que les réseaux neuronaux et les méthodes de noyau) aux forêts aléatoires. Les taux de convergence sont établis pour l'interpolation médiane RF, et l'influence de l'interpolation sur les performances de prédiction est également mesurée par le volume de la zone d'interpolation, caractérisée pour les forêts de Breiman (Chapitre 4). Enfin, nous présentons un travail en cours de mise en oeuvre consistant à entraîner des réseaux neuronaux avec différents objectifs inspirés du PAC-Bayes afin d'atteindre une optimisation plus rapide et de meilleures performances de généralisation.

In essence, this Ph.D. strives to fathom the crossroads of tree-based methods and modern neural architectures, exploring potential synergies, benefits, and theoretical underpinnings from a statistical perspective. The theoretical setting is generally that of non-parametric regression with finite samples. Two pieces of work (Chapters 2 and 3) involve the Deep Forest algorithm (DF, Zhou et al. 2017), which stacks Random Forests (RF) in a Neural Network (NN) fashion. We theoretically analyse the benefit of stacking trees in a simplified DF architecture (Chapter 2), while numerically we use pre-trained DF, among other tree-based methods, to initialize NN training and thereby boost their performances (Chapter 3). In a further development, we examine the behaviour of RF algorithms in the interpolation regime, thus extending the study of interpolating estimators (such as neural networks and kernel methods) to random forests. Rates of convergence are established for interpolating median RF, and the influence of interpolation on the prediction performances is also measured through the volume of the interpolation zone, characterized for interpolating Breiman forests (Chapter 4). Finally, we present an ongoing implementation work consisting in training neural networks with different objectives inspired from the PAC-Bayes framework in order to reach faster optimisation and better generalisation performances.