Relations entre plasticité synaptique et régularité des codages en neuro-évolution

• Auteur / Autrice : Paul Tonelli
• Direction : Stéphane Doncieux, Jean-Baptiste Mouret
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2012
• Etablissement(s) : Paris 6

Mots clés

Mots clés contrôlés

Robots mobiles

Robotique

Réseaux neuronaux (informatique)

Plasticité neuronale

Résumé

The evolution of artificial neural networks or neuro-evolution is able to generate networks capable of solving non-trivial tasks such as makin polyarticulated robots walk or enabling mobile robots to navigate autonomously. However, in most cases, the evolved controller may only solve the problemswhich have already been encountered during the evolutionary process, and the controller cannot adapt online to cope with new situations. Our work establishes the link between two domains of neuro-evolution previously studied independently. On the one hand, synaptic plasticity mechanisms, used as building block in these algorithms to create networks that adapt online and on the other hand, the generative encodings promoting regularity in the createdneural networks. The first contribution of our work is to show that the combination of these two tools provides the ability to generate networks that can adapt online to unknown situations, while the majority of other methods can not: the networks are often only able to "switch" between cases presented during evolution (a phenomenon that can be compared to overlearning) or can only be robust to changes in the environment without any qualitative change in their behavior. Generative encodings promoting regularity, on the contrary, where the same structures are applied to a set of neurons, make it more difficult for the algorithm to overspecialize the evolved networks. Our second contribution solves another problem encountered when evolving neuralnetworks using generative encodings promoting regularity: these encodings generate networks where the behavior of "bundled" neurons is similar, which does not allow them to single out the behavior of any neuron. The addition of synaptic plasticity mechanisms relaxes this constraint by allowing the network to learnin a set of behaviors from a common rule, even if these behaviors are different from one another.

L'évolution artificielle de réseaux de neurones ou "neuro-évolution'' permet aujourd'hui de générer des réseaux capables de résoudre des tâches non triviales telle que la marche de robots poly-articulés ou la navigation autonome de robots mobiles. Cependant, dans la majorité des cas, les capacités du contrôleur évolué se limitent à résoudre les problèmes déjà rencontrés durant le processus d'évolution, mais le contrôleur ne peut s'adapter en ligne pour faire face à de nouvelles situations. Les travaux que nous avons réalisés font le lien entre deux domaines précédemment indépendants de la neuro-évolution. D'une part, les mécanismes de plasticité synaptique, utilisés comme brique de base dans ces algorithmes pour réaliser des réseaux qui s'adaptent en ligne, d'autre part, les codages génératifs favorisant la création de réseaux de neurones réguliers. Le premier apport de mon travail est de montrer que la combinaison de ces deux outils apporte la possibilité de générer des réseaux capables de s'adapter en ligne à des situations inconnues, ce que la majorité des autres méthodes ne permet pas : les réseaux ne sont souvent capables que de "sauter'' entre les situations présentées durant l'évolution (un phénomène que l'on peut rapprocher du surapprentissage) ou d'être robustes à des changements de l'environnement sans changement qualitatif de leur comportement. Les codages génératifs favorisant la régularité génèrent, au contraire, des topologies où une même règle d'adaptation s'applique à un ensemble de neurones, ce qui rend plus difficile leur "sur-spécialisation''. Le premier apport de mon travail est de montrer que la combinaison de ces deux outils apporte la possibilité de générer des réseaux capables de s'adapter en ligne à des situations inconnues, ce que la majorité des autres méthodes ne permet pas : les réseaux ne sont souvent capables que de "sauter'' entre les situations présentées durant l'évolution (un phénomène que l'on peut rapprocher du surapprentissage) ou d'être robustes à des changements de l'environnement sans changement qualitatif de leur comportement. Les codages génératifs favorisant la régularité génèrent, au contraire, des topologies où une même règle d'adaptation s'applique à un ensemble de neurones, ce qui rend plus difficile leur `"sur-spécialisation''. Notre second apport permet de résoudre un autre problème, rencontré lors de l'évolution de réseaux utilisant des codages génératifs favorisant la régularité: ces codages génèrent des réseaux où le comportement de neurones "groupés'' est similaire, ce qui ne leur permet pas de singulariser le comportement de neurones. L'ajout de mécanismes de plasticité synaptique relâche cette contrainte en autorisant un ensemble de comportements tant qu'il est possible de les apprendre grâce à une règle commune, même si ces comportements sont différents entre eux.