Structuration spatio-temporelle de séquences vidéo

• Auteur / Autrice : Rémi Megret
• Direction : Jean-Michel Jolion
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2003
• Etablissement(s) : Lyon, INSA
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône2003-....)

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Traitement d'images

Résumé

Ce travail aborde le problème de l'extraction d'une structure spatio-temporelle au sein de séquences vidéos, avec comme objectif une représentation qui prenne en compte l'ensemble de la séquence, tant spatialement que temporellement. Plusieurs points de vues sont proposés : le point de vue de l'estimation de trajectoires, le point de vue de la segmentation jointe en espace et en temps, et une formalisation plus générale autour du concept de regroupement récursif. Le point commun des solutions que nous introduisons est de considérer des représentations à plusieurs niveaux, par l'utilisation de structures hiérarchiques. Ces structures sont définies à partir de primitives regroupant les pixels de façon compacte : il s'agira de primitives surfaciques au sein d'une image, et de volumes au sein du bloc spatio-temporel que constitue la vidéo. Le premier point de vue sépare les dimensions spatiales et le temps. Des primitives sont extraites des images et mises en correspondance temporelle pour former des trajectoires. Nous proposons pour cela l'utilisation de blobs, c'est à dire des régions de forme compacte présentant un contraste avec leur voisinage. Nous utilisons la définition de la théorie de l'espace-échelle, qui présente l'avantage de tirer parti de l'information présente à plusieurs niveaux de détail dans une image à niveaux de gris. Nous proposons une extension de celle-ci à la couleur, sur la base des histogrammes de couleur locaux, que nous relions avec d'autres méthodes non multiéchelle. Les blobs suivis forment des trajectoires, que nous segmentons par le mouvement, à l'aide d'une nouvelle méthode, permettant de prendre en compte des trajectoires de longueurs variées. Le second point de vue considère les dimensions spatiales et temporelle de façon jointe. Nous proposons une méthode d'extraction de tubes de couleur spatio-temporels dans des blobs d'une vingtaine d'images. Elle est basée sur une classification des pixels de la séquence dans un espace de caractéristiques. L'avantage d'extraire directement des structures spatio-temporelles du bloc vidéo est de pouvoir les comparer, moyennant un décalage temporel, ce qui fournit une mesure de la stabilité temporelle de chaque tube. Enfin, nous proposons un modèle général permettant de caractériser les méthodes de structuration du bloc spatio-temporel, sur la base de deux concepts : la définition d'une structure spatio-temporelle comme un regroupement récursif des pixels de la séquence, et la décomposition de toute relation spatio-temporelle en une relation synchrone et une projection temporelle.

This thesis tackles the problem of extracting a spatio-temporal structure out of a video sequence. The goal is to provide a structured representation of the visual content, by taking into account the whole spatio-temporal extent of the sequence, spatially as well as temporally. Several points of view are proposed to address this issue: - a representation based on trajectories of blobs, - a segmentation method that works jointly in space and time, - and a more general formalization that builds around the concept of recursive grouping. These approaches share the properties that we consider multi-level representations, by use of hierarchical structures. They are based on pixel groupings that have a compact shape, like blobs in images, and strands in video sequences.