Vers la compréhension automatique de contenu audiovisuel narratif

Towards automatic understanding of narrative audiovisual content

• Auteur / Autrice : Alison Reboud
• Direction : Ulrich Finger, Raphaël Troncy
• Type : Thèse de doctorat
• Discipline(s) : Informatique, télécommunications et électronique
• Date : Soutenance le 14/12/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Vasileios Mezaris
• Jury : Examinateurs / Examinatrices : Claire-Hélène Demarty, Jean-Luc Dugelay
• Jury : Rapporteurs / Rapporteuses : Vasileios Mezaris, Farah Benamara

Mots clés

Mots clés contrôlés

Multimédias

Interaction multimodale

Apprentissage automatique

Traitement automatique du langage naturel

Narration

Mots clés libres

Mémorabilité

Résumé automatique

Multimodalité

Compréhension automatique

Classification texte

Zero-shot learning

Media memorability

Automatic summarization

Multimodality

Résumé

Aujourd'hui les histoires se disent en ligne et souvent par le biais de vidéos. Comprendre ces histoires reste un défi pour les systèmes automatiques. Avec la multimodalité comme thème transversal, cette thèse décompose la tâche de "compréhension" en traitant les défis suivants: prédire le degré de mémorabilité, résumer et modéliser la narration des contenus audiovisuels.

Modern storytelling is digital and video-based. Understanding the stories contained in videos remains a challenge for automatic systems. Having multimodality as a transversal theme, this research thesis breaks down the "understanding" task into the following challenges: Predicting memorability, summarising and modelling stories from audiovisual content.