Mécanismes computationnels de l'apprentissage par renforcement dans les états sain et pathologique

Computational principles of adaptive coding in healthy and impaired reinforcement learning

• Auteur / Autrice : Sophie Bavard
• Direction : Stefano Palminteri
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences computationnelles
• Date : Soutenance le 09/04/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de neurosciences cognitives & computationnelles (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Mathias Pessiglione
• Jury : Examinateurs / Examinatrices : Stefano Palminteri, Mathias Pessiglione, Claire M. Gillan, Sebastian Gluth
• Jury : Rapporteurs / Rapporteuses : Claire M. Gillan, Sebastian Gluth

Mots clés

Mots clés contrôlés

Neurosciences

Mots clés libres

Apprentissage

Prise de décision

Modélisation

Contextualisation

Psychiatrie computationnelle

Reinforcement learning

Decision making

Computational modeling

Context-dependence

Computational psychiatry

Résumé

L’apprentissage par renforcement est un processus cognitif fondamental, qui se manifeste au quotidien depuis notre naissance. Grâce à l’expérience, nous apprenons par essais et erreurs à maximiser le nombre d’évènements plaisants (récompenses) et à minimiser le nombre d’évènements désagréables (punitions ou "récompenses négatives"). Dans le cadre de l’apprentissage par renforcement, l’une des questions les plus fondamentales est de savoir si les valeurs sont apprises et représentées sur une échelle absolue ou relative (i.e, dépendante du contexte). La réponse à cette question est non seulement cruciale d’un point de vue théorique, mais est aussi nécessaire pour comprendre pourquoi la prise de décision chez l’humain diverge des modèles normatifs et donne lieu à des comportements sous-optimaux, tels que ceux observés dans de nombreux troubles psychiatriques tels que l’addiction. Afin de répondre à cette question, nous développons des modèles computationnels afin de prendre en compte la dépendance au contexte dans l’apprentissage par renforcement chez l’humain. Dans cette thèse, à travers deux expériences impliquant des tâches probabilistes, nous avons montré que des volontaires sains apprennent les valeurs de façon relative. Cette dépendance au contexte implique par ailleurs des choix sous-optimaux lorsque les options sont comparées en dehors de leur contexte d’apprentissage, ce qui suggère que les valeurs économiques sont normalisées en fonction de l’intervalle généré par les valeurs présentées. De plus, nos résultats ont confirmé que cette adaptation implique des erreurs systématiques et est d’autant plus grande que la tâche est facile. Les analyses comportementales ainsi que les simulations de modèle convergent vers la validation d’un modèle générant une adaptation au contexte progressive. En conclusion, nos résultats montrent que les valeurs ne sont pas représentées sur une échelle absolue, ayant des conséquences positives et négatives. Afin de faire le lien entre – une altération de – ce processus et des troubles psychiatriques impliquant la récompense, nous avons réalisé une méta-analyse sur le biais de valence qu’on observe dans plusieurs maladies. Nos résultats préliminaires suggèrent que les volontaires sains apprennent aussi bien des récompenses que des punitions, ce qui n’est pas le cas des patients souffrant de certaines pathologies comme la maladie de Parkinson ou l’addiction. Dans une expérience à grande échelle avec une approche transnosographique utilisée en psychiatrie computationnelle, nous n’avons pas trouvé de lien direct entre les paramètres de notre modèle et les différentes dimensions des symptômes, dont les troubles obsessionnels compulsifs, l’anxiété sociale et l’addiction. Des travaux complémentaires permettront d’améliorer nos techniques computationnelles pour mieux prendre en compte la variance comportementale. À long terme, ces analyses pourront potentiellement aider à développer des outils pour mieux caractériser les phénotypes pathologiques et les troubles comportementaux, afin d’améliorer le traitement des patients au niveau individuel.

Reinforcement learning is a fundamental cognitive process operating pervasively, from our birth to our death. The core idea is that past experience gives us the ability of learning to improve our future choices in order to maximize the occurrence of pleasant events (rewards) and to minimize the occurrence of unpleasant events (punishments). Within the reinforcement learning framework, one of the most fundamental and timely questions is whether or not the values are learned and represented on an absolute or relative (i.e., context-dependent) scale. The answer to this question is not only central at the fundamental and theoretical levels, but also necessary to understand and predict why and how human decision-making often deviates from normative models, leading to sub-optimal behaviors as observed in several psychiatric diseases, such as addiction. In an attempt to fill this gap, throughout the work carried out during this PhD, we developed existing models and paradigms to probe context-dependence in human reinforcement learning. Across two experiments, using probabilistic selection tasks, we showed that the choices of healthy volunteers displayed clear evidence for relative valuation, at the cost of making sub-optimal decisions when the options are extrapolated from their learning context, suggesting that economic values are rescaled as a function of the range of the available options. Moreover, results confirmed that this range-adaptation induces systematic extrapolation errors and is stronger when decreasing task difficulty. Behavioral analyses, model fitting and model simulations convergently led to the validation of a dynamically range-adapting model and showed that it is able to parsimoniously capture all the behavioral results. Our results clearly indicate that values are not encoded on an absolute scale in human reinforcement learning, and that this computational process has both positive and negative behavioral effects. In an attempt to explore the link to -an impairment of- this process in reward-related psychiatric diseases, we performed a meta-analysis based on the valence bias observable in several pathologies. Preliminary results suggest that healthy volunteers learn similarly from rewards and punishments, whereas it is not the case for pathologies such as Parkinson’s disease or substance-related disorders. In a large-scale experiment, coupled with a transnographic approach used in computational psychiatry, we found that the parameters of our model could not be directly linked with different dimensions of psychiatric symptoms, including obsessive compulsive disorders, social anxiety, and addiction. Further work will improve our modeling tools to better account for behavioral variance. In the long term, these analyses will potentially help to develop new tools to characterize phenotypes of several pathologies and behavioral disorders, as well as improve patients’ treatment at the individual level.