Graph representation and mining applied in comic images retrieval - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

Graph representation and mining applied in comic images retrieval

Représentation par graphes et fouille de graphes : application à la recherche d’images de bandes dessinées par le contenu

Résumé

In information retrieval tasks from image databases where content representation is based on graphs, the evaluation of similarity is based both on the appearance of spatial entities and on their mutual relationships. In this thesis we present a novel scheme of Attributed Relational Adjacency Graphs representation and mining, which has been applied in content-based retrieval of comic images. The images used in this thesis are comics images, which have their inherent difficulties in applying content-based retrieval, such as their abstractness, partial occlusion, scale change and shape deformation due to viewpoint changes. We propose a graph representation that yields stable graphs and allow to retain high-level and structural information of objects of interest in comic images. Next, we extend the indexing and matching problem to graph structures representing the comic image, and apply it to the problem of retrieval. The graphs in the graph database representing the whole comic volume are then mined for frequent patterns (or frequent substructures). This step is to overcome the non-repeatability problem caused by the unavoidable errors introduced into the graph structure during the graph construction stage, which ultimately create a semantic gap between the graph and the content of the comic image. Finally, we demonstrate the effectiveness of the system with a database of annotated comic images. Experiments of performance measures is addressed to evaluate the performance of this CBIR system.
Nous abordons d’abord le problème de la représentation sous forme d’un graphe de l’image et de ses applications en reconnaissance des formes, en mettant l’accent sur les applications de recherche d’images basées sur le contenu (CBIR). Les images utilisées dans cette thèse sont des images de bandes dessinées, qui possèdent des spécificités qui sont des freins pour les méthodes de recherche d’information par le contenu utilisées dans la littérature. Le contenu des bandes dessinées, tel que les objets et les personnages, est complexe. La représentation des personnages, par exemple, peut, d’une case à l’autre, varier énormément en taille et avec différents effets de perspective, selon la situation que l’auteur souhaite retranscrire. Nous proposons ainsi une représentation qui permet d’obtenir des graphes stables et qui conserve des informations structurelles de haut niveau pour les objets d’intérêt dans les images de bandes dessinées. Ensuite, nous étendons le problème d’indexation et d’appariement aux structures de graphes représentant les images d’une bande dessinée et nous l’appliquons au problème de la recherche d’information. Un album de bandes dessinées est ainsi transformé en une base de graphes, chaque graphe correspondant à la description d’une seule case. La stratégie utilisée pour retrouver un objet ou un personnage donné, consiste donc à rechercher des motifs fréquents (ou des sous-structures fréquentes) dans cette base de graphes. Cette étape nécessite de surmonter le problème de non-répétabilité provoqué par les erreurs introduites dans la structure du graphe pendant la phase de construction dues notamment à la variabilité des dessins. Il apparait donc un écart sémantique entre le graphe et le contenu de l’image de bande dessinée.
Fichier principal
Vignette du fichier
2019LE127924.pdf (10.1 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)
Loading...

Dates et versions

tel-02475609 , version 1 (12-02-2020)

Identifiants

  • HAL Id : tel-02475609 , version 1

Citer

Thanh Nam Le. Graph representation and mining applied in comic images retrieval. Computer Vision and Pattern Recognition [cs.CV]. Université de La Rochelle, 2019. English. ⟨NNT : 2019LAROS008⟩. ⟨tel-02475609⟩
157 Consultations
117 Téléchargements

Partager

Gmail Facebook X LinkedIn More