Vers un apprentissage protéiforme : accomoder les changements de signature des agents artificiels.

Towards protean learning : accomodating signature changes in artificial agents.

• Auteur / Autrice : Iago Bonnici
• Direction : Fabien Michel, Abdelkader Gouaich
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/03/2021
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Marianne Huchard
• Jury : Examinateurs / Examinatrices : Fabien Michel, Abdelkader Gouaich, Marianne Huchard, Matthew E. Taylor, Emmanuel Rachelson, Antoine Cornuéjols, Olivier Sigaud, Éric Bourreau
• Jury : Rapporteurs / Rapporteuses : Matthew E. Taylor, Emmanuel Rachelson, Antoine Cornuéjols

Mots clés

Mots clés contrôlés

Traceurs numériques incrémentaux

Réseaux neuronaux (informatique)

Transfert d'apprentissage

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Apprentissage par transfert

Apprentissage par renforcement

Apprentissage incrémental

Réseaux de neurones

Machine learning

Transfer learning

Reinforcement learning

Online learning

Neural networks

Résumé

Le domaine de l'Apprentissage Automatique (AA) produit des agents apprenants sophistiqués: des programmes dont l'objectif est de découvrir, de façon systématique, des procédures résolvant des tâches difficiles à automatiser comme la vision artificielle, le contrôle robotique, etc. Certaines tâches posent un défi particulier parce que l'ensemble des entrées possibles de l'agent apprenant, ou ses sorties, sont naturellement amenées à changer au fil de l'apprentissage. Nous appelons ces ensembles la ''signature'' de l'agent. Par exemple, un capteur robotique qui cesse de fonctionner entraîne un changement de signature appelé ''suppression d'entrée''. Quand un nouveau moteur est branché, il y a ''ajout de sortie''. Ces évènements, que nous appelons ''changements de signature'', affectent n'importe quel agent traitant des flux de données dont la pertinence ou la disponibilité varient, pourvu qu'il vive assez longtemps. Mais quand la signature change, l'espace de recherche exploré devient indéfini, et il est coûteux, en termes de calcul, de reprendre l'apprentissage de zéro. Comment mieux accomoder les changements de signature chez les agents apprenants ?Dans tout l'AA, les algorithmes d'apprentissage sont conçus pour être robustes aux changements. En particulier, les domaines de l'Apprentissage Continu, de la Dérive Conceptuelle ou de l'Apprentissage par Transfert se soucient d'améliorer la réaction d'agents apprenants dans des contextes changeants, comme des distributions changeantes de données dans l'Apprentissage Supervisé Incrémental (ASI), ou des environments changeants dans l'Apprentissage par Reinforcement (AR). Cependant, la question d'accomoder explicitement les changements de signature n'a pas encore, à notre connaissance, été abordée par la communauté. Dans ce travail, nous suggérons qu'elle représente un important nouveau contexte d'apprentissage, l'Apprentissage Protéiforme (AP), et nous entreprenons d'initier ce domaine avec trois contributions.Premièrement, nous développons une formalisation rigoureuse de l'AP et du problème des changements de signature. En particulier, nous nous intéressons à l'ajout et la suppression d'entrée, qui constituent le sous-domaine restreint de l'AP d'Entrée (APE). Nous montrons qu'il plusieurs contextes d'APE différents et non-triviaux, et qu'un jeu de projections naturelles permet d'accomoder les évenèments APE de façon générique indépendamment de la tâche entreprise. Deuxièmement, nous concevons et conduisons une expérience synthétique pour étudier la démarche APE dans un contexte d'ASI. Nous montrons que les projections naturelles tendent à produire de meilleures accomodations que les méthodes naïves, et nous discutons cet avantage au regard des différentes propriétés de la tâche entreprise. Troisièmement, nous concevons et conduisons une autre expérience pour montrer que ces résultats s'appliquent aussi dans un contexte d'AR tabulaire. En analysant soigneusement les traces d'apprentissage, nous décomposons et documentons les nombreux effets en jeu pendant l'accomodation APE. Nous concluons que l'AP n'est pas seulement intéressant pour l'importance des défis qu'il pose, mais aussi parce qu'il existe des techniques génériques, comme les projections naturelles que nous exhibons, qui les relèvent correctement dans les contextes testés.

In the domain of Machine Learning (ML), computer scientists develop sophisticated learning agents: programs aimed to automatically discover procedures to solve difficult automation tasks like artificial vision, robot control, etc. Some tasks are challenging because the set of possible inputs to the learning agent, or their outputs, naturally change over the course of learning. These sets are referred to as the agent ''signature''. When a sensor fails on a robot for instance, the event constitutes a signature change called ''input deletion''. When a new actuator is plugged in, there is an ''output addition''. These events occur to any long-lived agent processing streaming data whose relevance or availability varies over time. But when the agent signature is transformed, the explored search space becomes undefined, and restarting the learning from scratch is wasteful in terms of computing resources. How to better accomodate signature changes in learning?Throughout ML, learning algorithms are designed to be robust to changes. In particular, approaches like Continual Learning, Concept Drift or Transfer Learning are concerned with the reaction of learning agents to changing contexts like changing data distributions in Online Supervised Learning (OSL) or changing environments in Reinforcement Learning (RL). However, to our knowledge, the problem of explicitely accomodating signature changes has not been tackled by the community yet. In this thesis, we consider that it constitutes a significant new learning context, namely Protean Learning (PL), and we engage into this domain with three contributions.First, we develop a rigorous formalization of PL and the signature change problem. In particular, we focus on input addition and input deletion, that constitute the restricted Input-PL (IPL) subdomain. We show that there exists a non-trivial range of IPL contexts, and that a natural set of projections permits generic accomodation of IPL events regardless of the task at hand. Second, we design and conduct a synthetic experiment to address the IPL approach in an OSL context. We show that natural projections provide better accomodation than naive approaches as a general trend, and we qualify this advantage depending on various properties of the task at hand. Third, we design and conduct another benchmark experiment to show that the above results also extends to a tabular RL context. With a careful analysis of the learning traces, we dissect and document the numerous effects in play during IPL accomodation. We conclude that PL is not only interesting because of the important challenges it addresses, but because there exists generic techniques, like the natural IPL projections we exhibit, that correctly face them in the tested contexts.