Modélisation du contrôle cognitif pour le comportement guidé par les règles

Computational modeling of cognitive control for rule-guided behavior

• Auteur / Autrice : Snigdha Dagar
• Direction : Frédéric Alexandre, Nicolas Rougier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/04/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Macha Nikolski
• Jury : Examinateurs / Examinatrices : Julien Vitay
• Jury : Rapporteurs / Rapporteuses : Emmanuel Procyk, Lola Cañamero

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Cortex préfrontal

Modèles mathématiques

Neurosciences cognitives

Mots clés libres

Contrôle cognitif

Neurosciences computationnelles

Apprentissage par renforcement

Cortex Préfrontal

Cognitive Control

Computational Neuroscience

Reinforcement learning

Prefrontal Cortex

Résumé

Le contrôle cognitif est la capacité générale d’un organisme à inhiber le comportement dominant en faveur d’une réponse pertinente selon des objectifs internes et en lien avec des facteurs environnementaux et/ou motivationnels. Diverses études expérimentales ainsi que des modèles computationnels ont tenté de mettre en évidence les mécanismes et les structures neuronales sous-jacents qui autorisent un comportement à la fois flexible et adaptatif. Néanmoins, une théorie unifiée qui tiendrait compte de l’ensemble de ces mécanismes reste insaisissable, notamment en ce qui concerne le degré d’adaptabilité qui varie entre les humains et les animaux non humains. Dans ce travail, nous souhaitons caractériser cette gradation du contrôle cognitif afin de poser un cadre conceptuel nous permettant de concevoir des modèles informatiques biologiquement plausibles à même de mettre en évidence les étapes clés du contrôle cognitif. Dans une première approche, et sur la base d’études chez la souris, nous utilisons un modèle acteur-critique standard afin de montrer comment le comportement naturel d’exploration de la souris doit être inhibé afin de permettre au modèle d’apprendre une règle simple dans un labyrinthe radial. Au travers d’une série de tâche de complexité croissante, nous montrons alors la nécessité de posséder des systèmes de mémoire de travail et épisodique, en adéquation avec la littérature sur la prise de décision chez les rongeurs. Cela est notamment réalisé en étendant le modèle précédent avec une modélisation fonctionnelle de ces deux systèmes de mémoire, nous permettant ainsi de caractériser les contributions respectives de ces deux systèmes, en accord avec les études chez les rongeurs. Dans un troisième temps, nous mettons en évidence la nécessité de former des représentations explicites du contexte à partir de règles acquises implicitement, et ceci, afin de pouvoir acquérir un comportement spécifique vis à vis d’un contexte particulier. Enfin, pour comprendre comment le cortex préfrontal soutient cet apprentissage contextuel et autorise une pleine capacité du contrôle cognitif chez l’Homme, nous proposons un modèle hiérarchique global qui explique notamment le rôle de l’attention sélective dans l’apprentissage de règles abstraites. Notre hypothèse étant que cette capacité d’attention permet la sélection des règles concrètes les plus appropriées ainsi que la manipulation des représentations sous-jacentes. Tout cela étant réalisé en assurant le monitoring des ces représentations ainsi que les erreurs de prédiction.

Cognitive Control is the general capacity of an organism to use top-down control signals to inhibit the dominant behavior in favor of a contextually relevant response, in accordance with internally described goals (which could result from environmental or motivational factors). Various experimental studies and computational models have tried to understand the neural mechanisms and structures that enable flexible and adaptive behavior by exerting cognitive control. Nevertheless, a unifying theory that explains these mechanisms remains elusive. The degree of adaptability that cognitive control provides varies from humans to nonhuman animals. We elaborate this gradation of cognitive control in a conceptual framework, and then use biologically plausible computational models to identify key computational processing requirements at each stage. In the first model, we use a basic actor-critic model, to show how the default behavior of exploration in mice, needs to be overridden in order for a rodent (agent) to learn a simple tactile rule in a radial maze. Based on the decision making literature on rodents, we then show through a series of incrementally complex tasks, the necessity of working and episodic memory systems. This is done by extending the previous model with an elementary abstraction of these memory systems in order to make concrete the underlying mechanisms and criteria of cognitive control in rodents. As a third step, we highlight the need to form explicit mental representations of “context” from implicitly acquired rules, to enable contextually guided behavior, using a simple recurrent neural network trained on a sensorimotor task. Finally, to understand how the PFC supports contextual learning and the full capacity of cognitive control in humans, we develop a hierarchical computational model that explains the role of selective and sustained attention in learning abstract rules, and selects the appropriate concrete rules by manipulating representations, or task sets, and monitoring these representations and prediction errors.