Apprentissage supervisé de données déséquilibrées par forêt aléatoire

Supervised learning of imbalanced datasets using random forest

• Auteur / Autrice : Julien Thomas
• Direction : Djamel Abdelkader Zighed
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/02/2009
• Etablissement(s) : Lyon 2
• Ecole(s) doctorale(s) : Informatique et information pour la société
• Partenaire(s) de recherche : Laboratoire : Equipe de Recherche en Ingenierie des Connaissances - Equipe de Recherche en Ingénierie des Connaissances
• Jury : Président / Présidente : Nicole Vincent
• Jury : Examinateurs / Examinatrices : Gilles Venturini, Pierre-Emmanuel Jouve, Sylvie Philipp-Foliguet, Behzad Shariat

Mots clés

Mots clés contrôlés

Médecine -- Informatique

Dépistage

Cancer du sein

Théorie de la prévision

Apprentissage automatique

Exploration de données

Mots clés libres

Apprentissage supervisé

Data mining

Données déséquilibrées

Forêt aléatoire

Échantillonnage

Construction de variables

Évaluation de modèles

Aide au diagnostic

FUNSS

LARSS

FuFeFa

PRAGMA

Supervised learning

Imbalanced datasets

Random forest

Sampling

Model assessment

Assisted diagnostic

Breast cancer

Résumé

La problématique des jeux de données déséquilibrées en apprentissage supervisé est apparue relativement récemment, dès lors que le data mining est devenu une technologie amplement utilisée dans l'industrie. Le but de nos travaux est d'adapter différents éléments de l'apprentissage supervisé à cette problématique. Nous cherchons également à répondre aux exigences spécifiques de performances souvent liées aux problèmes de données déséquilibrées. Ce besoin se retrouve dans notre application principale, la mise au point d'un logiciel d'aide à la détection des cancers du sein.Pour cela, nous proposons de nouvelles méthodes modifiant trois différentes étapes d'un processus d'apprentissage. Tout d'abord au niveau de l'échantillonnage, nous proposons lors de l'utilisation d'un bagging, de remplacer le bootstrap classique par un échantillonnage dirigé. Nos techniques FUNSS et LARSS utilisent des propriétés de voisinage pour la sélection des individus. Ensuite au niveau de l'espace de représentation, notre contribution consiste en une méthode de construction de variables adaptées aux jeux de données déséquilibrées. Cette méthode, l'algorithme FuFeFa, est basée sur la découverte de règles d'association prédictives. Enfin, lors de l'étape d'agrégation des classifieurs de base d'un bagging, nous proposons d'optimiser le vote à la majorité en le pondérant. Pour ce faire nous avons mis en place une nouvelle mesure quantitative d'évaluation des performances d'un modèle, PRAGMA, qui permet la prise en considération de besoins spécifiques de l'utilisateur vis-à-vis des taux de rappel et de précision de chaque classe.

The problem of imbalanced datasets in supervised learning has emerged relatively recently, since the data mining has become a technology widely used in industry. The assisted medical diagnosis, the detection of fraud, abnormal phenomena, or specific elements on satellite imagery, are examples of industrial applications based on supervised learning of imbalanced datasets. The goal of our work is to bring supervised learning process on this issue. We also try to give an answer about the specific requirements of performance often related to the problem of imbalanced datasets, such as a high recall rate for the minority class. This need is reflected in our main application, the development of software to help radiologist in the detection of breast cancer. For this, we propose new methods of amending three different stages of a learning process. First in the sampling stage, we propose in the case of a bagging, to replaced classic bootstrap sampling by a guided sampling. Our techniques, FUNSS and LARSS use neighbourhood properties for the selection of objects. Secondly, for the representation space, our contribution is a method of variables construction adapted to imbalanced datasets. This method, the algorithm FuFeFa, is based on the discovery of predictive association rules. Finally, at the stage of aggregation of base classifiers of a bagging, we propose to optimize the majority vote in using weightings. For this, we have introduced a new quantitative measure of model assessment, PRAGMA, which allows taking into account user specific needs about recall and precision rates of each class.