Multitask deep learning for joint syntactic and semantic structure prediction

par Xudong Zhang

Projet de thèse en Informatique

Sous la direction de Thierry Charnois.

Thèses en préparation à Paris 13 , dans le cadre de École doctorale Galilée (Villetaneuse, Seine-Saint-Denis) depuis le 15-09-2018 .


  • Résumé

    Ce projet se concentre sur l'analyse sémantique (semantic parsing). Dans le travail récent (Deep Multitask Learning for Semantic Dependency Parsing [Peng et al.,2017]), il montre une méthode de neurone profond pour analyser des phrases en trois formalismes de graphes de dépendances sémantiques. La performance surpasse les méthodes précédentes qui utilisent des caractéristiques fabriquées à la main ou l'analyse de syntaxe. Du plus, il montre deux méthodes d'apprentissage multitâche qui peuvent élever en plus un petit peu la performance. Dans notre projet, un objet est d'explorer cette méthode sur les autres tâches du traitement du langage naturel, comme la reconnaissance d'entité nommée ou l'extraction de relation de discours. Concernant la partie multitâche, on propose d'utiliser le SPEN (Structured Prediction Energy Networks). Le SPEN se base sur l'idée de miniser l'énergie de neurone et il peut faire les pronostics des labels en minimisant l'énergie de neurone avec backpropagation. L'avantage de SPEN est qu'il ne assume pas à priori une structure de modèle graphique et il peut apprendre l'interaction entre les labels qu'on veut prédire. Nous espérons que le SPEN peut hausser la performance sur le problème multitâche en apprennant la relation entre les labels. Finalement, le projet doctoral est bien sûr un projet exploratoire. Nous voulons explorer la possibilité d'utiliser des méthodes comme le modèles d'attention structurée ou le GAN (Generative adversarial network) sur l'analyse sémamtique.


  • Pas de résumé disponible.