Représentation par graphes et fouille de graphes : application à la recherche d’images de bandes dessinées par le contenu

Graph representation and mining applied in comic images retrieval

• Auteur / Autrice : Thanh Nam Le
• Direction : Jean-Christophe Burie, Jean-Marc Ogier
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 29/03/2019
• Etablissement(s) : La Rochelle
• Ecole(s) doctorale(s) : École doctorale Euclide (La Rochelle ; 2018-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, Image, Interaction (La Rochelle)
• Jury : Président / Présidente : Sébastien Adam
• Jury : Examinateurs / Examinatrices : Jean-Christophe Burie, Jean-Marc Ogier, Sébastien Adam, Josep Llados i Canet, Nicole Vincent, Muhammad Muzzamil Luqman
• Jury : Rapporteurs / Rapporteuses : Josep Llados i Canet, Nicole Vincent

Mots clés

Mots clés contrôlés

Recherche d'images par le contenu

Explorations de graphes

Représentations de graphes

Mots clés libres

Mise en correspondance de graphes

Modélisation par les graphes

Fouille de graphes

Fouille de motifs fréquents

Reconnaissance des formes

Reconnaissance d’objets déformables

Recherche d’images par le contenu

Recherche d’images de bandes dessinées

Graph matching

Graph based modeling

Graph mining

Frequent pattern mining

Pattern recognition

Deformable object recognition

Content-based image retrieval

Comic image retrieval

Résumé

Nous abordons d’abord le problème de la représentation sous forme d’un graphe de l’image et de ses applications en reconnaissance des formes, en mettant l’accent sur les applications de recherche d’images basées sur le contenu (CBIR). Les images utilisées dans cette thèse sont des images de bandes dessinées, qui possèdent des spécificités qui sont des freins pour les méthodes de recherche d’information par le contenu utilisées dans la littérature. Le contenu des bandes dessinées, tel que les objets et les personnages, est complexe. La représentation des personnages, par exemple, peut, d’une case à l’autre, varier énormément en taille et avec différents effets de perspective, selon la situation que l’auteur souhaite retranscrire. Nous proposons ainsi une représentation qui permet d’obtenir des graphes stables et qui conserve des informations structurelles de haut niveau pour les objets d’intérêt dans les images de bandes dessinées. Ensuite, nous étendons le problème d’indexation et d’appariement aux structures de graphes représentant les images d’une bande dessinée et nous l’appliquons au problème de la recherche d’information. Un album de bandes dessinées est ainsi transformé en une base de graphes, chaque graphe correspondant à la description d’une seule case. La stratégie utilisée pour retrouver un objet ou un personnage donné, consiste donc à rechercher des motifs fréquents (ou des sous-structures fréquentes) dans cette base de graphes. Cette étape nécessite de surmonter le problème de non-répétabilité provoqué par les erreurs introduites dans la structure du graphe pendant la phase de construction dues notamment à la variabilité des dessins. Il apparait donc un écart sémantique entre le graphe et le contenu de l’image de bande dessinée.

In information retrieval tasks from image databases where content representation is based on graphs, the evaluation of similarity is based both on the appearance of spatial entities and on their mutual relationships. In this thesis we present a novel scheme of Attributed Relational Adjacency Graphs representation and mining, which has been applied in content-based retrieval of comic images. The images used in this thesis are comics images, which have their inherent difficulties in applying content-based retrieval, such as their abstractness, partial occlusion, scale change and shape deformation due to viewpoint changes. We propose a graph representation that yields stable graphs and allow to retain high-level and structural information of objects of interest in comic images. Next, we extend the indexing and matching problem to graph structures representing the comic image, and apply it to the problem of retrieval. The graphs in the graph database representing the whole comic volume are then mined for frequent patterns (or frequent substructures). This step is to overcome the non-repeatability problem caused by the unavoidable errors introduced into the graph structure during the graph construction stage, which ultimately create a semantic gap between the graph and the content of the comic image. Finally, we demonstrate the effectiveness of the system with a database of annotated comic images. Experiments of performance measures is addressed to evaluate the performance of this CBIR system.