Prediction structurée avec des garanties théoriques

Structured prediction with theoretical guarantees

• Auteur / Autrice : Alex Nowak Vila
• Direction : Francis Bach
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/09/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Statistical machine learning and parsimony (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Florence d' Alché-Buc
• Jury : Examinateurs / Examinatrices : Francis Bach, Florence d' Alché-Buc, Robert C. Williamson, Ingo Steinwart, Alessandro Rudi, Alexandre d' Aspremont
• Jury : Rapporteurs / Rapporteuses : Robert C. Williamson, Ingo Steinwart

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Théorie d’aprentissage statistique

Prediction structurée

Méthodes de substitution

Méthodes à noyaux

Statistical learning theory

Structured prediction

Surrogate methods

Kernel methods

Résumé

La classification est la branche de l’apprentissage supervisé qui vise à estimer une fonction à valeurs discrètes à partir de données constituées de paires d’entrées et de sorties. Le cadre le plus classique et le plus étudié est celui de la classification binaire, où le prédicteur discret prend pour valeur zéro ou un. Cependant, la plupart des problèmes de classification qu’on retrouve en pratique sont definis sur de grands espaces de sortie structurés tels que des séquences, des grilles, des graphs, des permutations, etc. Il existe des différences fondamentales entre la prédiction structurée et la classification multiclasse ou binaire non structurée: la grandeur exponentielle de l’espace de sortie par rapport à la dimension naturelle des objets à prédire et la sensibilité des coûts de la tâche de classification. Cette thèse se concentre sur les méthodes de substitution pour la prédiction structurée, dans lesquelles le problème discret typiquement insoluble est abordé à l’aide d’un problème continu convexe qui, à son tour, peut être résolu à l’aide de techniques de régression.

Classification is the branch of supervised learning that aims at estimating a discrete valued mapping from data made of input-output pairs. The most classical and well studied setting is binary classification, where the discrete predictor takes zero or one as value. However, most of the practical classification settings deal with large structured output spaces such as sequences, grids, graphs, permutations, matchings, etc. There are many fundamental differences between structured prediction and vanilla binary or multi-class classification, such as the exponentially large size of the output space with respect to the natural dimension of the output objects and the cost-sensitive nature of the learning task. This thesis focuses on surrogate methods for structured prediction, whereby the typically intractable discrete problem is approached using a convex continuous surrogate problem which in turn can be addressed using techniques from regression.