Extraction d'événements biomédicaux basée sur des transformers et des graphes de connaissances

Biomedical Event Extraction Based on Transformers and Knowledge Graphs

• Auteur / Autrice : Laura A. Zanella Calzada
• Direction : Yannick Toussaint
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/12/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Thierry Charnois
• Jury : Examinateurs / Examinatrices : Yannick Toussaint, Anne Vilnat, Natalia Grabar, Mathieu Roche
• Jury : Rapporteurs / Rapporteuses : Anne Vilnat, Natalia Grabar

Mots clés

Mots clés contrôlés

Ontologies (informatique)

Théorie des graphes

Représentation des connaissances

Traitement d'événements (informatique)

Traitement automatique du langage naturel

Mots clés libres

Traitement Automatique de Langues

Extraction d'Evénements

Transformers

Graphes de Connaissances

Données biomédicales

Natural Language Processing

Event Extraction

Transformers

Knowledge Graphs

Biomedical Data

Résumé

L'extraction d'événements biomédicaux peut être divisée en trois sous-tâches principales : (1) la détection de déclencheurs d'événements biomédicaux, (2) l'identification d'arguments biomédicaux et (3) la construction d'événements. Dans cette étude, pour la première sous-tâche, nous analysons un ensemble de modèles de langage transformer couramment utilisés dans le domaine biomédical afin d'évaluer et de comparer leur capacité à détecter les déclencheurs d'événements. Nous affinons les modèles en utilisant sept corpus annotés manuellement pour évaluer leurs performances dans différents sous-domaines biomédicaux. SciBERT s'est révélé être le modèle le plus performant, présentant une légère amélioration par rapport aux modèles de référence. Pour la deuxième sous-tâche, nous construisons un graphe de connaissances (KG, en anglais) à partir des corpus biomédicaux et intégrons ses embeddings KG à SciBERT pour enrichir son information sémantique. Nous démontrons que l'ajout des embeddings KG au modèle améliore la performance de l'identification d'arguments d'environ 20 %, et d'environ 15 % par rapport à deux modèles de référence. Pour la troisième sous-tâche, nous utilisons le modèle génératif, ChatGPT, basé sur des invitations, pour construire l'ensemble final d'événements extraits. Nos résultats suggèrent que l'affinage d'un modèle transformateur pré-entraîné à partir de zéro avec des données biomédicales et générales permet de détecter les déclencheurs d'événements et d'identifier des arguments couvrant différents sous-domaines biomédicaux, améliorant ainsi sa généralisation. De plus, l'intégration des embeddings KG dans le modèle peut significativement améliorer la performance de l'identification d'arguments d'événements biomédicaux, surpassant les résultats des modèles de référence.

Biomedical event extraction can be divided into three main subtasks; (1) biomedical event trigger detection, (2) biomedical argument identification and (3) event construction. In this work, for the first subtask, we analyze a set of transformer language models that are commonly used in the biomedical domain to evaluate and compare their capacity for event trigger detection. We fine-tune the models using seven manually annotated corpora to assess their performance in different biomedical subdomains. SciBERT emerged as the highest-performing model, presenting a slight improvement compared to baseline models. For the second subtask, we construct a knowledge graph (KG) from the biomedical corpora and integrate its KG embeddings to SciBERT to enrich its semantic information. We demonstrate that adding the KG embeddings to the model improves the argument identification performance by around 20 %, and by around 15 % compared to two baseline models. For the third subtask, we use the generative model, ChatGPT, based on prompts to construct the final set of extracted events. Our results suggest that fine-tuning a transformer model that is pre-trained from scratch with biomedical and general data allows to detect event triggers and identify arguments covering different biomedical subdomains, and therefore improving its generalization. Furthermore, the integration of KG embeddings into the model can significantly improve the performance of biomedical event argument identification, outperforming the results of baseline models.