Evaluation d'algorithmes pour et par l'apprentissage

Meta-learning and testing

• Auteur / Autrice : Nicolas Baskiotis
• Direction : Michèle Sebag
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2008
• Etablissement(s) : Paris 11
• Partenaire(s) de recherche : autre partenaire : Université de Paris-Sud. Faculté des sciences d'Orsay (Essonne)

Mots clés

Mots clés contrôlés

Optimisation combinatoire

Algorithmes

Apprentissage automatique

Mots clés libres

Apprentissage actif

Transition de phase

Test logiciel

Apprentissage structuré

Résumé

Une des principales difficultés concernant les applications issues de l’apprentissage automatique est le choix a priori de l’algorithme susceptible de fournir les meilleures performances en termes de classification. Nos travaux se sont inspirés des recherches dans le domaine de l’optimisation combinatoire portant sur la notion de transition de phase pour proposer une approche duale au traitement usuel de ce problème par le méta-apprentissage. Notre objectif est d’établir une carte de compétence d’un système d’apprentissage selon des descripteurs sur l’espace des problèmes, permettant d’identifier les régimes dans lesquels les performances du système sont stables. Nous illustrons notre approche sur le système C4. 5. La deuxième partie de nos travaux concerne les problèmes d’apprentissage posés par le test logiciel, plus précisément par une méthode de test statistique structurel de logiciel, utilisant l’échantillonnage de chemins dit faisables dans le graphe de contrôle du programme à tester. Dans certains cas, la fraction de chemins faisables est très faible, pénalisant cette méthode. Notre objectif est de proposer un système d’apprentissage et d’optimisation permettant de construire un générateur aléatoire biaisé vers les chemins faisables et garantissant un bon échantillonage du concept cible. Nous proposons le système MLST réalisant de l’apprentissage actif dans un graphe. Nos travaux ont été évalués à la fois sur des problèmes réels et artificiels montrant un gain significatif en termes de couverture des concepts cibles par rapport aux données initiales.

One of the main concerns involving machine learning applications is the a priori choice of an algorithm likely to yield the best classification performances. Our work is inspired by research in combinatorial optimisation on the phase transition problem. We suggest a dual approach to the standard view on this problem through metaleraning. Our goal is to build a competence map according to descriptors on the problem space which enables to identify the regimes where the system’s performance are steady. We assess this approach on C 4. 5. The second part of our work deals with machine learning problems in software testing. More precisely, we study a statistical structural method of software testing that uses the sampling of the so-called feasible paths in the control graph of the problems that is to be tested. In certain cases, the portion of feasible paths is very low, which hinders this method. Our goal is to design a learning and optimisation system that yields a random generator biaised towards the feasible paths and that warrantees a suitable sampling of the target concept. We designed the MLST system that implements active learning in a graph. We tested our work on both real and artificial problems and showed that our system achieves significantly improvement regarding the coverage of target concepts with respect to the initial data.