Extraction de relations sémantique dans un contexte de veille et d'intelligence d'entreprise

Extraction of semantic relations in a context of intelligence and business intelligence

• Auteur / Autrice : Massinissa Atmani
• Direction : Mathieu Lafourcade
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 19/05/2022
• Etablissement(s) : Université de Montpellier (2022-….)
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Partenaire(s) de recherche : Equipe de recherche : Département Informatique
• Jury : Président / Présidente : Marianne Huchard
• Jury : Examinateurs / Examinatrices : Mathieu Lafourcade, Didier Schwab, Patrice Bellot, Nathalie Aussenac, Anne Laurent
• Jury : Rapporteurs / Rapporteuses : Didier Schwab, Patrice Bellot

Mots clés

Mots clés libres

Intelligence artificielle

Taln

Recherche d'information

Intelligence d'entreprise

Systèmes de réponse à des questions

Artificial Intelligence

Nlp

Information Retrieval

Business Intelligence

Questions Answering Systems

Résumé

Dans cette thèse, nous abordons la question de l'extraction de relations sémantiques depuis des textes avec une attention particulière portée aux bases de connaissances afin de réduire la quantité de données nécessaires pour l'entraînement d'un modèle neuronal basé sur l'apprentissage profond. Ainsi, nous essayons de concevoir un modèle d'extraction de relations en prenant en compte les aspects suivants : 1) sobriété - a permis efficacement le modèle avec peu de données d'apprentissage en volume, 2) adaptabilité - pouvoir adapter le modèle à différents domaines, alors que la plupart des approches à base d'apprentissage automatique ne sont que difficilement adaptables, et 3) explicabilité - pouvoir fournir automatiquement des éléments d'explication des résultats produits par le modèle. De ce fait, nous indiquons de normaliser des triplets ayant une représentation prédicat-arguments à l'aide de ressources externes (bases de connaissances) de façon à obtenir des performances comparables aux approches basées sur l'apprentissage automatique sans reposer sur un quelconque corpus textuel d'apprentissage. Les inférences de notre approche sont interprétables car le prédicat du triplet est censé capturer le déclencheur (un segment textuel) de la relation présente dans le texte. Pour cela, nous avons perdu un modèle d'OpenIE (extraction ouverte d'informations) pour extraire les triplets (prédicat-arguments), UD2OIE, qui n'exploite que l'analyse syntaxique afin de respecter la contrainte d'adaptation au domaine autant que possible. Nous montrons également que notre système dépasse l'état de l'art actuel sur différents domaines de spécialités et que les approches actuelles fondées sur les modèles de langage (BERT) ne respectent que peu la contrainte d'adaptation au domaine. Nous abordons également le problème de l'hypothèse distributionnelle, sur laquelle le modèle de langage repose, qui n'est pas suffisant pour capturer les propriétés relationnelles et sémantiques entre les termes. En effet, les approches actuelles différenciant la similarité sémantique des autres relations, nous dévoilons le modèle Jeux2BERT tirant profit de bases de connaissances afin que les représentations vectorielles des mots puissent modéliser à la fois leurs propriétés distributionnelles et relationnelles. Nous illustrons aussi l'apport de notre méthodologie relativement à l'état de l'art. Finalement, nous présentons un modèle hybride d'extraction de relations Jeux2BERT+OIE qui exploite le modèle Jeux2BERT pour normaliser les triplets obtenus par le modèle UD2OIE. Nous appliquons notre modèle d'extraction de relations sémantiques au domaine de veille technologique et d'intelligence d'entreprise.

In this thesis, we address the task of semantic relations extraction from texts with particular attention to knowledge bases to reduce the amount of data required for training a deep learning-based neural model. Thus, we try to design a relations extraction model considering the following aspects: 1) sobriety - effectively training the model with little volume training data, 2) adaptability - being able to adapt the model to different domains, while most machine learning based approaches are only difficult to adapt, and 3) explainability - being able to automatically provide explanations for the results produced by the model. Therefore, we indicate to normalize triples having a predicate-argument representation using external resources (knowledge bases) to obtain performances comparable to approaches based on machine learning without relying on any textual corpus of learning. The inferences of our approach are interpretable because the triple predicate is supposed to capture the trigger (a textual segment) of the relation present in the text. For this, we propose an OpenIE model (open information extraction) to extract the triples (predicate-arguments), UD2OIE, which only exploits syntactic analysis to respect the constraint of adaptation to the domain as much as possible. We also show that our system exceeds the current state of the art on different domains of specialties and that the current approaches based on language models (BERT) do not respect the constraint of adaptation to the domain. We also address the problem of the distributional assumption, on which the language model is based, which is not sufficient to capture the relational and semantic properties between terms. Indeed, the current approaches differentiating semantic similarity from other relations, we unveil the Jeux2BERT model taking advantage of knowledge bases so that vector representations of words can model both their distributional and relational properties. We also illustrate the contribution of our methodology relative to the state of the art. Finally, we present a hybrid model of relationship extraction Jeux2BERT+OIE that exploits the Jeux2BERT model to normalize the triplets obtained by the UD2OIE model. We apply our semantic relationship extraction model to the domain of technology watch and business intelligence.