Segmentation morphologique interactive pour la fouille de séquences vidéo

Interactive morphological segmentation for video mining

• Auteur / Autrice : Jonathan Weber
• Direction : Pierre Gançarski, Sébastien Lefèvre
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2011
• Etablissement(s) : Strasbourg

Mots clés

Mots clés contrôlés

Exploration de données

Morphologie mathématique

Classification automatique

Vidéo numérique

Mots clés libres

Segmentation interactive

Objets-vidéo

Fouille de données vidéo

Zones quasi-plates

Résumé

Nous observons actuellement une augmentation importante du volume de données vidéo disponibles. L'utilisation efficace de cette masse de données nécessite d'en extraire de l'information. Dans cette thèse, nous proposons d'utiliser les méthodes de fouille de données et de les appliquer sur les objets-vidéo d'intérêts afin de combler le fossé sémantique en impliquant l'utilisateur dans le processus. Extraire ces objets à partir des pixels nécessite de manipuler un grand volume de données, induisant un traitement couteux (en temps et en mémoire) peu compatible avec une implication interactive de l'utilisateur. Ainsi, nous proposons d'appliquer le processus interactif de segmentation sur une réduction des données, les zones quasi-plates. N'étant définies que pour les images fixes, nous proposons une extension des zones quasi-plates aux séquences vidéo ainsi qu'une nouvelle méthode de filtrage. La segmentation est effectuée interactivement par l'utilisateur qui dessine des marqueurs sur les objets d'intérêts afin de guider la fusion des zones quasi-plates composant ces objets. Elle est effectuée sur un graphe d'adjacence de régions représentant les zones quasi-plates spatiotemporelles ainsi que leurs relations d'adjacence. L'utilisation de cette structure assure un faible temps de calcul. Les objets-vidéo obtenus sont ensuite utilisés dans un processus de fouille interactif guidé par des descripteurs extraits automatiquement de la video et des informations données par l'utilisateur. La forte interactivité avec l'utilisateur, à la fois lors de l'étape de segmentation puis lors de l'étape de fouille favorise la synergie entre données numériques et interprétation humaine.

Today, we observe an expansion of the amount of available video data. Efficient use of this data mass requires to be able to extract information from it. In this thesis, we propose to use data mining methods and apply them on video-objects of interest, in order to bridge the semantic gap by involving the user in the process. The extraction of such video-objects from pixels implies the handling of large data volume. This leads to expensive computing (in terms of computation time and memory) which is not compatible with an interactive user involvement. Thus, we propose to apply the interactive segmentation process on a data reduction, the quasi-flat zones. Quasi-flat zones are only defined for still images, so we propose an extension of the quasi-flat zones to video data and a new filtering method. The segmentation is performed interactively by the user which has to draw markers on the objects of interest, in order to guide the merging of the quasi-flat zones which compose these objects. This process is performed on a region adjacency graph which contains spatiotemporal quasi-flat zones as nodes and their spatiotemporal adjacency relations as edges. The use of such structure provides a low computation cost. Obtained video objects are then used in an interactive mining process guided by descriptors automatically extracted from the video and information given by the user. The high interactivity with the user, both at the segmentation step and at the mining step promotes synergy between digital data and human interpretation.