Rédaction automatique de résumés à partir de textes en utilisant des schémas lexico-grammaticaux et l'apprentissage profond

Automatic Writing of Abstracts from Texts Using Lexico-Grammatical Patterns and Deep Learning

• Auteur / Autrice : Abdelghani Laifa
• Direction : Laurent Gautier, Christophe Cruz
• Type : Thèse de doctorat
• Discipline(s) : Informatique, algorithmique des langues
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Lettres, Communication, Langues, Arts (Dijon ; Besançon ; 2017-....)
• Partenaire(s) de recherche : Laboratoire : Centre Interlangues : texte, image, langage (TIL) (Dijon)
• Partenaire(s) de recherche : établissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Thierry Grass
• Jury : Examinateurs / Examinatrices : Laurent Gautier, Christophe Cruz, Mathieu Roche, Christopher John Gledhill, Ladjel Bellatreche
• Jury : Rapporteurs / Rapporteuses : Mathieu Roche, Christopher John Gledhill

Mots clés

Mots clés contrôlés

Résumé de texte

Idiotismes

Analyse informatique

Analyse du discours -- Informatique

Linguistique -- Informatique

Mots clés libres

Apprentissage profond

Schémas lexico-Grammaticaux

Résumé automatique

Idiomaticité

Taln

Deep learning

Lexico-Grammatical patterns

Text summarization

Idiomaticity

Nlp

Résumé

Avec l'explosion actuelle des données qui circulent dans l'espace numérique, et qui sont pour la plupart des données non structurées, répétitives, non pertinentes et peuvent ne pas transmettre l'information prévue, un outil permettant d'élaborer un résumé efficace, offrant les informations pertinentes dans une langue idiomatique est nécessaire. Dans la littérature, la plupart des modèles pré-entraînés offrant des résumés sont formés en anglais, entrainés sur beaucoup de données d’actualité et négligent une contrainte linguistique d’idiomaticité qui est le caractère exprimant la spécificité d’un domaine ou d’une langue. Ayant pour objectif d’élaborer un modèle français de résumé automatique dédié au domaine de la finance, nous répondons aux normes de haute qualité des résumés (idiomaticité) en proposant une approche complète dans laquelle, linguistiquement, nous filtrons les données de la Banque de France et sélectionnons les schémas lexico-grammaticaux et le lexique support qui sont les garant d’un haut degré d’idiomaticité. Informatiquement, nous définissons deux méthodes de pré-entraînement et d'ajustement. Ces méthodes aboutissent à deux systèmes de résumé extractifs et abstractifs dédiés au domaine de la finance en français et qui prennent en considération l’analyse et le filtrage linguistique. Ces deux méthodes adressent les limites de langue, de domaine et de contrainte linguistique. Pour répondre à la dernière limite du manque d'ensemble de données spécifiques au domaine, nous définissions une nouvelle technique d’augmentation de données adaptée à notre jeu de départ, permettant finalement d’améliorer davantage l’idiomaticité des résumés obtenus. Notre solution offre une base de recherche motivante pour des nouvelles améliorations dans le domaine du résumé.

With the current explosion of data coursing the computerized space, most of this data is unstructured, repetitive, irrelevant, and may not pass on the intended significance. A solution is needed to produce an efficient summary that provides the relevant information in an idiomatic language. In the state-of-the-art, most pre-trained models used for summarization are pre-trained in English, pre-trained on a massive amount of news datasets, and neglect a linguistic constraint of idiomaticity, which is the character that expresses the specificity of a domain or a language. Aiming at building a French automatic text summarization model for the finance domain, we meet the high-quality standards of the summaries (idiomaticity) by proposing a complete approach in which, linguistically, we filter the Banque de France dataset and select the lexico-grammatical patterns and the "support lexicon" that guarantee a high-level of idiomaticity. From the deep learning side, we define two methods of pre-training and fine-tuning. These methods consider the previously linguistic filtering and lead to two extractive and abstractive summarization models for the French financial domain. Both methods tackle the language limit (most models are English-based), the domain adaptation, and the linguistic constraint (idiomaticity). To address the last limitation of the lack of a domain-specific dataset, we define a new data augmentation technique adapted to our dataset, allowing us to improve the idiomaticity of the obtained summaries further. Our solution provides a motivating research base for further improvements in the text summarization area.