Segmentation et suivi d'objets couleur dans une séquence vidéo à l'aide de réseaux de neurones auto-organisés

par Wafi El-Chaar

Thèse de doctorat en Informatique

Sous la direction de Denis Hamad et de Chaïban Nasr.

Soutenue en 2007

à Littoral .


  • Résumé

    Dans cette recherche, on s’intéresse à réaliser une segmentation automatique de couleurs d’une image à l’aide de réseaux de neurones auto-organisés. On utilise ensuite cette segmentation pour alimenter un algorithme de suivi d’objets. L’objectif ultime est de construire une « machine intelligente de vision » capable de voir et comprendre ce qu’elle voit. Une multitude d’applications peuvent bénéficier d’une telle recherche, notamment les domaines du transport intelligent, du suivi de cibles ou de personnes, de la reconnaissance de comportement, etc. On a développé un algorithme de segmentation automatique des couleurs des objets (objets couleurs) qui existent dans une image statique. Il débute par un ensemble uniforme de couleurs représentatives puis procède à le réduire en éliminant ceux qui n’ont pas de contribution dans l’image étudiée. Cela ne garde que les couleurs utiles à la segmentation. Ensuite, on définit et on entraîne un réseau auto-organisé de Kohonen (SOM) pour représenter la distribution de ces couleurs utiles. Une analyse de l’histogramme « des parts du marché » permet ensuite la détection des couleurs les plus dominantes de l’image. A la fin, on applique la règle économique 80/20 de Pareto et une analyse ABC pour filtrer les résultats de segmentation et ne garder que les plus utiles 95% d’objets. Cela réduit considérablement le bruit de segmentation et améliore la qualité des résultats. On a appliqué cette segmentation dans le domaine suive d’objets en supposant que ces couleurs dominantes sont conservées le long d’une séquence vidéo et qu’on est intéressé par le suivi des objets couleurs. On a défini les règles pour la validation des résultats d’un suivi qui se résument par la commutativité de la relation de correspondance entre les objets dans les sens normal et inverse de la séquence vidéo. L’algorithme de suivi qu’on a développé appartient à la classe des algorithmes de suivi par correspondance des caractéristiques visuelles. On en a choisi 5 : la couleur, le centre de gravité, la surface, l’orientation et le rectangle encadrant. On les a utilisé pour définir une fonction de correspondance entre les objets et détecter leurs 3 états : apparition, vie et disparition.

  • Titre traduit

    Segmentation and tracking of color objects in a videi sequence using self organizing networks


  • Résumé

    In this research, we are interested in automatic segmentation of color objects using artificial neural networks. We apply this segmentation to track moving objects in a video sequence. Our ultimate goal is to build an “intelligent Visual Machine” that is able to “ see” and “understand” what it sees. A wide range of applications could be benefit from such a research : intelligent transportation systems, objects or persons tracking, objects or behavior recognition and many other engineering or biomedical applications. We developed an algorithm that starts with a pre-defined set of neurons uniformly representing the color space. The algorithm then reduces this set by eliminating the ones which had little or no contribution to the colors of the image. A Kohonen’s SOM neural network learns then the distribution of the remaining (useful) colors in the color space and represents them in an optimized way. Next, we use a histogram of market-shares to detect and keep only the most dominant useful colors found in the image. We use those colors to identify and separate color segments. We used the economical ABC-Analysis and Pareto’s 80/20 rule to filter the available segments and concentrate on the most important 95% of them. This represent a huge reduction in the number of objects treated and a much better quality of segmentation. We applied this segmentation algorithm to feed an object tracking algorithm that contained some new rules governing tracking algorithms and validating their results. The most important one was that tracking algorithms should perform the same way if applied in forward or backward playing mode (objects should match both ways). We developed a tracking algorithm based on visual features matching technique and calculated the relative difference of 5 basic visual features to do the match. Those features were color, centroid, area, boundingbox, and orientation and were compared between different objects from consecutive frames. We were able to detect all 3 states of an object : appearance, existence, and disappearance.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (v-147 p.)
  • Annexes : Bibliogr. p. 141-147.

Où se trouve cette thèse ?

  • Bibliothèque : Université du Littoral-Côte d'Opale (Calais, Pas-de-Calais). Bibliothèque. Section Sciences.
  • Disponible pour le PEB
  • Bibliothèque : Université du Littoral-Côte d'Opale (Calais, Pas-de-Calais). Bibliothèque. Section Sciences.
  • Consultable sur place dans l'établissement demandeur
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.