Extraction et description de la structure narrative de séries TV

par Yulia Matveeva

Projet de thèse en Informatique

Sous la direction de Claude Barras et de Slim Essid.

Thèses en préparation à Paris Saclay , dans le cadre de Sciences et Technologies de l'Information et de la Communication , en partenariat avec LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (laboratoire) , TLP - Traitement du Langage Parlé (equipe de recherche) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 01-11-2016 .


  • Résumé

    Le projet de cette thèse est un projet exploratoire traitant de l'extraction automatique et caractérisation sémantique de la structure narrative de collections de séries TV. Il est censé ouvrir la voie à de nouvelles faćons de recherche intéractive des documents vidéos et de leurs épisodes. Les séries TV modernes ont une structure complexe intégrant souvent plusieurs arcs narratifs dans un même épisode. L'objectif de ce projet est d'analyser la structure de la narration de chacun de ces arcs narratifs, en extrayant et caractérisant les segments clefs de la narration et des relations entre eux. Le projet ouvre un domain de recherche scientifique précédemment non-étudié. Tandis que beaucoup d'études se sont focalisées sur l'extraction de la structure temporelle (segmentation en scènes) ou la structure thématique, de nos connaissances la structure narrative n'a jamais été étudiée dans le contexte de traitement de documents multimodaux. Le présent projet va. par conséquent, mener au développement de nouvelles méthodes et de nouveaux modèles pour l'analyse de multimédia. En particulier, ce projet vise à développer de nouveaux paradigmes de fusion d'informations auditives, visuelles et textuelles.

  • Titre traduit

    Extraction and description of the narrative structure from TV series


  • Résumé

    The project of the current thesis is an exploratory project dealing with the automatic extraction and semantic characterization of the narrative structure of TV series collections that is expected to lead to novel interactive ways of browsing, searching and interacting with TV series episodes. Current TV series are based on complex structures involving several intertwined story arcs within the same episode. The main ambitious objective of the project is to analyze the structure of narration of each of these story arcs, extracting and characterizing key segments of the narration and the relations between them. The project opens up a previously unexplored field of scientific research. While many studies have focused on the extraction of the temporal structure (scenes segmentation) or thematic structure, the narrative structure extraction has, to our knowledge, never been studied for multimedia documents. The exploratory nature of projet StoryArcs will therefore lead to the development of novel methods and models for content-based multimedia analysis. In particular, project StoryArcs is expected to yield novel (and really multimodal) fusion paradigms as most tasks planned rely on the combination of audio, visual or textual data (multimodal segmentation into scenes, multimodal clustering of scenes into story arcs, etc.).