Transmodalité et multimodalité écrit/oral : modélisation, traitement automatique et évaluation de stratégies de présentation des structures "visuo-architecturale" des textes

Written/oral transmodality and multimodality: modeling, automatic treatment and evaluation of strategies for the presentation of texts “visuo-architectural” structures.

• Auteur / Autrice : Fabrice Maurel
• Direction : Nadine Vigouroux, Jean-Luc Nespoulous
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2004
• Etablissement(s) : Toulouse 3

Mots clés

Mots clés contrôlés

Transphrastique

Analyse automatique (linguistique)

Systèmes homme-machine

Reconnaissance des formes (informatique)

Mémoire

Études de cas

Compréhension

Reconnaissance automatique de la parole

Mots clés libres

Transmodalité

Structure visuelle des textes

Synthèse de parole à partir de textes

Multimodalité

First glance

Résumé

Nous nous intéressons à l’utilité et l’utilisabilité de la structure visuelle des textes, pour leur transposition à l’oral par des systèmes de synthèse de parole (TTS). Nous proposons la synoptique d’un système qui conduit à une représentation du texte interprétable par un TTS. Nous avons partiellement réalisé le module spécifique aux stratégies d’oralisation, afin de rendre articulables la part signifiante des textes, souvent oubliée. Des spécifications ont été précisées et partiellement intégrées par un partenaire industriel. Des hypothèses prédictives quant à l’impact sur la mémorisation/compréhension de deux stratégies issues de notre Modèle d’Oralisation par Reformulation des Textes Écrits pour être Lus Silencieusement, ont été formulées et testées. Ce travail a montré que des fonctions cognitives étaient perdues. Des prototypes, exploitant la notion d’Image De Page, ont été imaginés à travers des interfaces dans lesquelles la multimodalité a pour rôle de combler cette lacune.

We are interested in the utility and, if the need arises, the usability of texts visual structure, within the framework of their oral transposition. We propose the synoptic of an oralisation system who leads to a text representation directly interpretable by Text-To-Speech systems. We partially realized the module specific to the oralisation strategies, in order to render some signifying parts of the text often “forgotten” by synthesis systems. The first results of this study led to specifications in the course of integration by an industrial partner. Predictive hypothesis, related to the impact on memorizing/understanding of two strategies coming from our Reformulation-based Oralisation Model for Texts Written to be Silently Read (MORTELS), have been formulated and tested. This work shows that cognitive functions was lost. Prototypes, exploiting the “Page Reflection” notion, have been conceived through interfaces in which multimodality is used to fill this gaps.