Exploration de l'environnement à l'aide de l'interaction linguistique et de la curiosité chez des agents artificiels

par Rahma Chaabouni

Projet de thèse en Sciences cognitives option Intelligence artificielle

Sous la direction de Emmanuel Dupoux.

Thèses en préparation à Paris Sciences et Lettres , dans le cadre de Cerveau, cognition, comportement , en partenariat avec LABORATOIRE DE SCIENCES COGNITIVES ET PSYCHOLINGUISTIQUE (laboratoire) et de Ecole normale supérieure (établissement de préparation de la thèse) depuis le 01-09-2017 .


  • Résumé

    L'amélioration matérielle et logicielles des machines a participé au progrès de l'intelligence artificielle (IA). Nous avons tous entendu parler de “AlphaGo” qui a battu le champion du monde de Go, ou de ces machines qui obtiennent des meilleurs scores que l'homme à certains jeux d'Atari 2600. Cependant, nous devons admettre qu'agir avec succès dans le monde réel, comme nous le faisons tous les jours, est beaucoup plus complexe que ces tâches. L'approche typique d'apprentissage automatique consiste à construire un modèle à partir de zéro, lui fournir un million d'images et beaucoup de temps de calcul pour réaliser une tâche bien spécifique. Cependant, par exemple, pour jouer à un nouveau jeu, un homme a déjà une énorme quantité de connaissances préalables. Par exemple, s'il voit une échelle, il réalise directement qu'il peut l'escalader. En d'autres termes, nous avons beaucoup de connaissances a priori que les machines n'ont pas. Par conséquent, une autre approche pour construire nos modèles de machine learning serait en transférant la connaissance humaine sur le monde à un agent. Nous croyons que les humains utilisent ce type de source d'information. En particulier, une étude récente a démontré que la disponibilité de démonstrations ou d'instructions d'un jeu mène à un apprentissage plus rapide. Notre projet peut être divisé en deux étapes. La première serait de rassembler des informations sur l'interaction humaine dans un cadre enseignant-élève à l'aide de techniques de crowdsourcing. Ces données seront analysées afin de déterminer le type d'information que nous fournissons à l'élève pour l'aider à réaliser une tâche (rétroactions, démonstrations, descriptions ...). Ce qui nous mène à la deuxième étape du projet qui est l'utilisation de ces données pour accélérer l'apprentissage de notre agent dans le cadre d'apprentissage par renforcement.

  • Titre traduit

    Environment exploration through linguistic interaction and curiosity for artificial agents


  • Résumé

    We made big progress in AI. Now we see agents that can beat the best human in chess and Go, and get great scores in some Atari 2600 games. However, we must admit that operating successfully in the real world, as we do, is much more complex than those toy-tasks. The typical machine learning approach is to train a model from scratch. Give it a million images and a lot of time to figure it out. However, when a typical human starts to play some game he has never seen, he already has a huge amount of prior knowledge. For instance, if he sees a ladder, he realizes he can climb it. In other words, we have a lot of prior knowledge that machines don't have. Hence, another idea for training would be by transferring human knowledge about the world to an agent. We believe that humans rely on this type of source of information. Particularly, a recent study has proven that observing someone playing a game or having the instructions leads to a rapid learning. In a first phase of this project, we will gather information about human interaction in a teacher-student setting using crowd-sourcing techniques. This data will be analyzed to figure out the type of information that we give to drive student's learning (feedbacks, demonstrations, descriptions …). Once we have this data, a second phase would be to use it to accelerate the learning of our agent in a reinforcement learning setting.