Graph representation and mining applied in comic images retrieval

par Thanh Nam Le

Thèse de doctorat en Informatique et applications

Sous la direction de Jean-Christophe Burie et de Jean-Marc Ogier.

Soutenue le 29-03-2019

à La Rochelle , dans le cadre de École doctorale Euclide (La Rochelle ; 2018-....) , en partenariat avec Laboratoire Informatique, Image, Interaction (La Rochelle) (laboratoire) .

  • Titre traduit

    Représentation par graphes et fouille de graphes : application à la recherche d’images de bandes dessinées par le contenu


  • Résumé

    Nous abordons d’abord le problème de la représentation sous forme d’un graphe de l’image et de ses applications en reconnaissance des formes, en mettant l’accent sur les applications de recherche d’images basées sur le contenu (CBIR). Les images utilisées dans cette thèse sont des images de bandes dessinées, qui possèdent des spécificités qui sont des freins pour les méthodes de recherche d’information par le contenu utilisées dans la littérature. Le contenu des bandes dessinées, tel que les objets et les personnages, est complexe. La représentation des personnages, par exemple, peut, d’une case à l’autre, varier énormément en taille et avec différents effets de perspective, selon la situation que l’auteur souhaite retranscrire. Nous proposons ainsi une représentation qui permet d’obtenir des graphes stables et qui conserve des informations structurelles de haut niveau pour les objets d’intérêt dans les images de bandes dessinées. Ensuite, nous étendons le problème d’indexation et d’appariement aux structures de graphes représentant les images d’une bande dessinée et nous l’appliquons au problème de la recherche d’information. Un album de bandes dessinées est ainsi transformé en une base de graphes, chaque graphe correspondant à la description d’une seule case. La stratégie utilisée pour retrouver un objet ou un personnage donné, consiste donc à rechercher des motifs fréquents (ou des sous-structures fréquentes) dans cette base de graphes. Cette étape nécessite de surmonter le problème de non-répétabilité provoqué par les erreurs introduites dans la structure du graphe pendant la phase de construction dues notamment à la variabilité des dessins. Il apparait donc un écart sémantique entre le graphe et le contenu de l’image de bande dessinée.


  • Résumé

    In information retrieval tasks from image databases where content representation is based on graphs, the evaluation of similarity is based both on the appearance of spatial entities and on their mutual relationships. In this thesis we present a novel scheme of Attributed Relational Adjacency Graphs representation and mining, which has been applied in content-based retrieval of comic images. The images used in this thesis are comics images, which have their inherent difficulties in applying content-based retrieval, such as their abstractness, partial occlusion, scale change and shape deformation due to viewpoint changes. We propose a graph representation that yields stable graphs and allow to retain high-level and structural information of objects of interest in comic images. Next, we extend the indexing and matching problem to graph structures representing the comic image, and apply it to the problem of retrieval. The graphs in the graph database representing the whole comic volume are then mined for frequent patterns (or frequent substructures). This step is to overcome the non-repeatability problem caused by the unavoidable errors introduced into the graph structure during the graph construction stage, which ultimately create a semantic gap between the graph and the content of the comic image. Finally, we demonstrate the effectiveness of the system with a database of annotated comic images. Experiments of performance measures is addressed to evaluate the performance of this CBIR system.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université de La Rochelle. Bibliothèque numérique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.