Impact du Bruit d'Annotation sur l'Évaluation de Classifieurs

Label Noise Impact on Classifier Evaluation

• Auteur / Autrice : Ilias Benjelloun
• Direction : Bart Lamiroy, Angelo Efoevi Koudou
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/11/2021
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Marianne Clausel
• Jury : Examinateurs / Examinatrices : Véronique Eglin, Céline Hudelot, Benoît Frénay
• Jury : Rapporteurs / Rapporteuses : Véronique Eglin, Céline Hudelot

Mots clés

Mots clés contrôlés

Statistique bayésienne

Processus empiriques (mathématiques)

Intervalles de confiance

Classification automatique

Mots clés libres

Classification

Evaluation empirique

Bruit d'annotation

Classification

Empirical evaluation

Label noise

Résumé

Le but de cette thèse est de contribuer à l’état de l’art en évaluation de performances dans des problèmes de classification (notamment en perception artificielle) en se positionnant en rupture par rapport aux consensus établis. Les méthodes d’apprentissage et de classification actuelles dépendent très fortement de grandes masses de données annotées pour fonctionner. Le bouleversement de l’état de l’art, notamment provoqué par les méthodes d’apprentissage profond, nécessite des approches d’évaluation des performances adaptées. Les hypothèses traditionnelles sur les données de référence pour mesurer les performances se trouvent fortement affaiblies du fait de la quantité des données nécessaire pour les faire fonctionner. Il devient alors impossible de présupposer que les données d’apprentissage et/ou d’évaluation soient exemptes d’erreurs ou de bruit, induisant ainsi des imprécisions sur les évaluations et les comparaisons entre expérimentations. Dans ce projet, nous visons à établir à la fois les formalismes mathématiques et de protocoles expérimentaux qui permettront d’exprimer des niveaux de confiance et des métriques statistiques, pour prendre en compte l’incertitude sur les données dans l’évaluation de méthodes de classification et d’apprentissage. Nous proposons de revisiter l’ensemble du processus en étudiant et en développant des outils statistiques permettant d’exprimer une « confiance » dans des mesures de classement issues de campagnes d’évaluation ou de benchmarking. La question à laquelle on cherchera à répondre est la suivante : Étant donnée la réponse de n algorithmes sur un ensemble de données de référence, quelle est la confiance que l’on peut accorder au classement qui en résulte, sachant que le taux d’erreur des données de référence est inférieur à e. Ou à partir de quel taux d’erreur sur les données de référence peut-on considérer, avec un taux de certitude de t, que le classement obtenu sera mis en défaut. De façon duale, on peut également, non pas exprimer une confiance dans les classifieurs, mais dans les données expérimentales. Plusieurs formulations probabilistes de cette question sont possibles. Par exemple, en considérant les données comme des réalisations d’un vecteur aléatoire (dont la loi pourra appartenir à un modèle paramétrique donné), on étudiera la loi du vecteur constitué des réponses des n algorithmes en tant que fonction de ce vecteur aléatoire, ce qui permettra de calculer la probabilité d’avoir un classement donné de ces réponses, et de considérer que le classement n’est pas fiable si cette probabilité est jugée trop faible. En supposant que la distribution des erreurs appartient à un modèle paramétrique, des outils de statistique bayésienne pourront être utilisés pour étudier la distribution a posteriori des paramètres au vu des réponses des algorithmes.

Classical performance evaluation metrics used in the domains of Classification and Machine Learning are based on the assumption that the reference data used for validation and comparison are not error-free. Recent work has shown that this hypothesis is almost never guaranteed. In order to evaluate and compare different classification methods objectively and with verifiable levels of confidence, we have started to explore empirical statistical techniques which are promising and which make it possible to avoid of the constraint of perfect data. These techniques now need to be formally and theoretically validated on the one hand and extended to classifiers that are more generic. Our experiments validated the approach on binary classifiers; they should be generalized to classifiers involving any number of classes. This project aims to revisit the whole performance evaluation process by studying and developing statistical tools expressing a 'confidence' in classification measures resulting from evaluation or benchmarking campaigns. The question to be answered is the following: given the response of n algorithms to a set of reference data, what confidence can be attached to the resulting ranking, given an estimated error rate of less than ε ? Or, conversely, from what error rate on the reference data can we consider, with a confidence rate of τ that the obtained classification cannot be guaranteed ? These questions can be expressed with several probabilistic formulations. For example, considering the data as realizations of a random variable (whose law may belong to a given parametric model), we can study the responses of the n algorithms as a function of this random variable. This will make it possible to compute the probability of having a given ranking of these answers and to test if the ranking is reliable. Assuming that the error distribution belongs to a parametric model, Bayesian statistical tools can be used to study the posterior distribution of the parameters in the light of the responses of the algorithms.