Analyse conjointe texte et image pour la caractérisation de films d’animation

par Grégory Païs

Thèse de doctorat en Sciences et techniques de l'information et de la communication. Traitement de l'information

Sous la direction de Patrick Lambert et de Daniel Beauchêne.

Soutenue en 2010

à l'Université Savoie Mont Blanc .

mots clés

• Traitement d'images -- Techniques numériques
• Films d'animation
• Indexation automatique
• Analyse filmique -- Informatique

Résumé

Le développement rapide des nouvelles technologies de l'information a provoqué ces dernières années une augmentation considérable de la masse de données à disposition de l'utilisateur. Afin d'exploiter de manière rationnelle et efficace l'ensemble ce ces données la solution passe par l'indexation de ces documents multimédia. C'est dans ce contexte que ce situe cette thèse et plus spécifiquement dans celui de l'indexation d'une base numérique de films d'animation, telle que celle mise en place par la CITIA (Cité de l'image en mouvement). L'objectif principal de cette thèse est de proposer une méthodologie permettant de prendre en compte des informations issues de l'analyse de l'image et celles issues des péri-textes (synopsis, critiques, analyses, etc. ). Ces deux sources d'information sont de niveau sémantique très différent et leur utilisation conjointe permet une caractérisation riche et sémantique des séquences vidéo. L'extraction automatique de descripteurs images est abordée dans ces travaux à travers la caractérisation des couleurs et de l'activité du film. L'analyse automatique des synopsis permet quant à elle de caractériser la thématique du film et permet, grâce au scénario actanciel, la caractérisation de l'action de la séquence. Finalement ces informations sont utilisées conjointement pour retrouver et décrire localement les passages d'action et permettent d'obtenir l'atmosphère du film grâce à leur fusion floue.

Résumé

These last years, the fast development of new technologies allows digital media collections and the circulation of these data growing in size and number. However, the exploitation of these data remains a whole problem and creates a strong requirement for efficient tools to manipulate it. The current trend is in search of automatic indexing technique, based on semantic document contents. In the context of Annecy International Animation Film Festival the animated movie characterization presented in our works consists in information fusion between information contained in the animated movies images, textual information extracted from festival registration form and the expert knowledge. This information fusion uses colors statistics and activity measure extracted from automatic image sequence analysis and uses textual description and emotion measure from automatic textual analysis. Two characterizations are provided from this information fusion. A first global characterization consists in a dramatic emotion classification and a second local characterization consists in the time-localized action description from the actant scenario.