Nouvelles perspectives sur l'apprentissage en renforcement profond pour le traitement du langage - applications aux systèmes de génération de questions à contexte visuel

par Alice Martin

Projet de thèse en Mathématiques appliquées

Sous la direction de Sylvain Le corff et de Olivier Pietquin.

Thèses en préparation à Paris Saclay , dans le cadre de Mathématiques Hadamard , en partenariat avec SAMOVAR - Services répartis, Architectures, MOdélisation, Validation, Administration des Réseaux (laboratoire) , TIPIC - Traitement de l'Information Pour Images et Communication (equipe de recherche) et de Télécom SudParis (établissement de préparation de la thèse) depuis le 01-04-2019 .


  • Résumé

    Cette thèse propose de développer des nouvelles méthodes pour apprendre des stratégies de dialogue par apprentissage par renforcement afin de résoudre le double défi des systèmes de dialogue permettant d'accomplir une tache précise: créer des agents conversationnels capables de résoudre efficacement la tache tout en générant un procédé de communication de niveau égal à celui d'un humain. Le premier champ d'application sera les systèmes de génération de questions à contexte visuel qui associent un environnement multi-modal composé de texte et d'images à la tache de dialogue. Les approches suivantes seront considérées: - Création de modèles de langage contraints sur l'espace d'actions afin de forcer la génération d'un langage syntaxiquement et sémantiquement correct - Création de fonctions de récompense permettant de gérer le compromis entre récompenser un langage correct et récompenser l'accomplissement de la tache considérée - Évaluation de la performance du modèle par l'étude de l'incertitude relative à l'accomplissement de la tache finale et aux questions générées par l'agent.

  • Titre traduit

    New perspectives on deep reinforcement learning for natural language processing - Application to goal-oriented visual question generation


  • Résumé

    This thesis proposes to develop new methods to learn dialogue strategies with reinforcement learning with the objective of solving the dual challenge of task-oriented dialog systems: Designing conversational agents both efficient to solve a task and that reach human-level language communication. The starting point will be existing work on visually grounded dialogue systems: such systems ground the dialogue framework in a multi-modal environment made of text and images that naturally help human-language acquisition by associating language learning with visual perception. The following approaches will be considered: -Design of constrained language models over the action space to enforce the generation of a correct syntactic and semantic language with a rich structure -Design of new reinforcement learning strategies and reward functions that handle the trade-off between rewarding correct language utterances and rewarding the efficiency of the task-completion -The performance of the proposed model will be assessed by quantifying the uncertainty relative to the final guess and the sentences produced numerically (practical confidence intervals) and theoretically.