Prise de décision chez les machines et les humains

Decision making in humans and machines

• Auteur / Autrice : Nicolas Yax
• Direction : Stefano Palminteri
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Neurosciences Cognitives et Computationnelles
• Partenaire(s) de recherche : Equipe de recherche : Human Reinforcement Learning
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)

Mots clés

Mots clés libres

Modèle de language

Apprentissage par renforcement

Cognition

Language Models

Reinforcement Learning

Cognition

Résumé

Avec l'avancée récente des technologies d'apprentissage automatique et plus spécifiquement du traitement du langage naturel grâce à l'émergence des architectures basées sur les transformateurs (Vaswani et al., 2017), les grands modèles de langage sont devenus beaucoup plus accessibles (Brown et al., 2020) (Zhang et al., 2022) (Margaret et al., 2022). Ces modèles sont capables de compléter n'importe quel texte donné, ce qui comprend la capacité de répondre à des questions, mais aussi de résoudre de nombreuses tâches impliquant le traitement du texte, telles que la traduction ou la raisonnement. Ces capacités deviennent de plus en plus avancées, au point où le test de Turing original n'est plus particulièrement difficile. Cependant, la complexité croissante de ces modèles les rend très difficiles à analyser et il est impossible de comprendre en profondeur leur fonctionnement. Des outils de psychologie ont été développés pour étudier les humains. Alors que les modèles de langage montrent de plus en plus de compétences similaires à celles des humains, nous nous demandons si, en interagissant avec ces modèles boîte-noire de manière simple et directe, les outils de psychologie peuvent nous aider à mieux comprendre quelles sont les capacités cognitives de ces modèles. D'un autre côté, les modèles de langage ont également montré qu'ils étaient très capables de résoudre des tâches d'apprentissage par renforcement (Yao et al., 2022). L'utilisation du langage leur permet d'apprendre rapidement et de raisonner, ce qui est vital dans les environnements écologiques comme la vie des humains. Par conséquent, nous voulons examiner si ces modèles pourraient fournir un nouvel éventail d'outils pour étudier la prise de décision humaine dans des environnements très complexes, qui sont complètement en dehors de la portée des modèles actuels. L'inconvénient de ces modèles est qu'ils nécessitent beaucoup de puissance de calcul pour être formés et que seules les grandes entreprises peuvent se permettre de les former. En suivant différentes idées inspirées de la psychologie cognitive, nous nous demandons si nous pouvons améliorer la façon dont les gens entraînent réellement ces modèles afin de résoudre quelques problèmes d'ingénierie qui pourraient rendre ces modèles plus accessibles et même plus adaptés à la modélisation cognitive.

Recent advances in machine learning and more specifically Natural Language Processing carried by the emergence of transformer-based architectures (Vaswani et al., 2017) made large language models much more accessible (Brown et al.,2020)(Zhang et al., 2022)(Margaret et al., 2022). These models are able to complete any given input text which includes the ability to answer questions but also to solve a lot of tasks involving text processing such as translation or reasoning. These abilities are becoming more and more advanced to the point of which the original Turing test isn't particularly hard anymore. However the ever growing complexity of these models make them very hard to analyze and it is impossible to understand in depth how they work. Psychology tools have been developed to study humans. As language models show more and more human-like abilities we wonder whether by interacting with these black-box model in a simple, straightforward manner, psychology tools can help to better understand what are the cognitive capabilities of these models. On the other hand, language models have also shown to be very capable of solving reinforcement learning tasks (Yao et al., 2022). The use of language makes them able to learn fast and to reason which is vital in ecological environments like humans' lives. Therefore we want to investigate whether these models could provide a new range of tools to study human decision making in very complex environments which is completely out of range of the actual state of the art models. The downside of these models is that they require a lot of computation power to be trained and actually only big companies can afford to train them. Following different cognitive science inspired ideas we wonder if we could improve the way people actually train these models in order to solve a few engineering issues that could make these models more accessible and even more adapted to cognitive science modeling.