Prise en compte d'informations d'inclusion et d'adjacence dans les représentations morphologiques hiérarchiques, avec application à l'extraction de texte en images naturelles et vidéos

Taking into account inclusion and adjacency information in morphological hierarchical representations, with application to the extraction of text in natural images and videos

• Auteur / Autrice : Lê Duy Huynh
• Direction : Thierry Géraud
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2018
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : École pour l'informatique et les techniques avancées (Le Kremlin-Bicêtre, Val-de-Marne)
• Jury : Président / Présidente : Laurent Najman
• Jury : Examinateurs / Examinatrices : Laurent Najman, Yongchao Xu, Isabelle Bloch, Camille Kurtz
• Jury : Rapporteurs / Rapporteuses : Beatriz Marcotegui, Hugues Talbot
• DOI : 10.70675/df8439d7z5fffz4e9bzbce1zb4906181d22c

Mots clés

Mots clés contrôlés

Exploration de données

Morphologie mathématique

Structures de données (informatique)

Reconnaissance des formes (informatique)

Théorie des graphes

Mots clés libres

Morphologie mathématique

Hiérarchies

Arbre de formes

Arbres d'adjacence

Opérateurs connexes

Reconnaissance de texte

Morphology mathematics

Hierarchiesvis

Tree of Shapes

Adjacency trees

Related Operators

Text recognition

Résumé

Les relations d'inclusion et d'adjacence des regions dans l'images comportent des informations contextuelles. Le relation d'adjacence est largement utilisé car il indique comment les régions sont organisées dans l'images. La relation d'inclusion n'est généralement pas prise en compte, bien qu'il assimile la relation d'objet-fond. Il existe plusieurs représentations morphologiques hiérarchiques: l'arbre des formes (AdF) qui représentent l'inclusion de lignes de niveaux d'image, ainsi que les hiérarchies de segmentation (i.e. la hiérarchie des quasi-zones plates) qui est utile dans l'analyse de la relation d'adjacence. Le but de ce travail est de tirer partie à la fois des relations d’inclusion et d’adjacence dans ces representations pour mener à bien des tâches de vision par ordinateur. Nous introduisons le graphe d'alignement spatial (GAS) qui est construit à partir de l'inclusion et de l'arrangement spatial des régions dans l'AdF. Dans un cas simple tel que notre l'AdF de Laplacien, le GAS est réduit à un graphe déconnecté où chaque composant connecté est un groupe sémantique d'objets. Dans d’autres cases, e.g., l'AdF classique, le GAS est plus complexe. Pour résoudre ce problème, nous proposons d'élargir notre raisonnement à la morphologie basée sur la forme. Notre extension permet de manipuler n'importe quel graphe des formes et permet n'importe stratégie de filtrage dans la cadre de opérateurs connexes. Par conséquent, le GAS pourrait être analysé par une hiérarchie des quasi-zones plates. Les résultats de notre méthode dans la reconnaissance de texte montrent l'efficacité et la performance, qui sont attrayantes notablement pour les applications mobiles.

The inclusion and adjacency relationship between image regions usually carry contextual information. The later is widely used since it tells how regions are arranged in images. The former is usually not taken into account although it parallels the object-background relationship. The mathematical morphology framework provides several hierarchical image representations. They include the Tree of Shapes (ToS), which encodes the inclusion of level-line, and the hierarchies of segmentation (e.g., alpha-tree, BPT), which is useful in the analysis of the adjacency relationship. In this work, we take advantage of both inclusion and adjacency information in these representations for computer vision applications. We introduce the spatial alignment graph w.r.t inclusion that is constructed by adding a new adjacency relationship to nodes of the ToS. In a simple ToS such as our Tree of Shapes of Laplacian sign, which encodes the inclusion of Morphological Laplacian 0-crossings, the graph is reduced to a disconnected graph where each connected component is a semantic group. In other cases, e.g., classic ToS, the spatial alignment graph is more complex. To address this issue, we expand the shape-spaces morphology. Our expansion has two primary results: 1)It allows the manipulation of any graph of shapes. 2)It allows any tree filtering strategy proposed by the connected operators frameworks. With this expansion, the spatial graph could be analyzed with the help of an alpha-tree. We demonstrated the application aspect of our method in the application of text detection. The experiment results show the efficiency and effectiveness of our methods, which is appealing to mobile applications.