Image processing applications in object detection and graph matching : from Matlab development to GPU framework

par Beibei Cui

Thèse de doctorat en Informatique

Sous la direction de Jean-Charles Créput.

Soutenue le 27-03-2020

à Bourgogne Franche-Comté , dans le cadre de École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; Dijon ; Belfort) , en partenariat avec Connaissances et Intelligences Artificielles Distribuées (CIAD) (Dijon) (laboratoire) , Université de technologie de Belfort-Montbéliard (Etablissement préparatoire) et de CIAD - connaissance et intelligence artificielle distribuees (laboratoire) .

Le président du jury était Abder Koukam.

Le jury était composé de Lhassane Idoumghar, Yassine Ruichek.

Les rapporteurs étaient Cyril Fonlupt, Adnan Yassine.

  • Titre traduit

    Traitement d’image pour la détection d’objet et le problème d’appariement de graphe : du développement sous Matlab à une infrastructure GPU


  • Résumé

    Déterminer des mises en correspondance d’objet, ou de caractéristiques d’objet, dans des images présente un grand intérêt pour beaucoup d’applications telles que la détection et le suivi de cible, l’estimation du flot optique, l’identification, et d’autres tâches dérivées. Dans cette thèse, nous abordons le problème de mise en correspondance dans le cadre général de l’optimisation de l’appariement de graphe, dans le but de contribuer, comme résultat final, au développement de nouveaux algorithmes parallèles implémentés sur plateforme GPU (Graphics Processing Unit). Le problème d’appariement de graphe peut être décliné de diverses manières suivant l’application considérée. Nous observons un fossé entre les applications basées sur des fonctions de coût locales et les applications avec des fonctions de coût d’ordre supérieur, évaluant la similarité entre les arêtes du graphe, ou les hyperliens lorsqu’il s’agit d’un hypergraphe. La première classe d’applications comporte des algorithmes de résolution basés sur des calculs de convolution et possède déjà des implémentations parallèles sur GPU. La deuxième classe d’applications met l’accent sur les relations géométriques entre caractéristiques extraites de l’image, transformant le problème de mise en correspondance en un programme quadratique en nombre entiers avec contraintes, pour lequel nous n’avons pas trouvé de solution GPU accessible actuellement.Deux types d’approche ont été adoptées pour contribuer à la problématique d’appariement de graphe sur GPU. Premièrement, nous étudions différentes déclinaisons de cette problématique via l’utilisation de la plateforme Matlab afin de pouvoir réutiliser et fournir des solutions représentatives de l’état de l’art, ainsi que des protocoles d’expérimentation et des données d’entrée nécessaires pour une plateforme GPU dédiée à l’évaluation et la comparaison avec les algorithmes séquentiels sur Matlab. Ainsi, une première partie du travail concerne trois contributions respectivement, aux techniques de soustraction d’arrière-plan et de différence d’image pour la détection, au problème d’extraction de caractéristiques pour la mise en correspondance, et au problème général d’appariement de graphe, toutes basées sur la combinaison de méthodes issues de l’environnement Matlab. Deuxièmement, nous proposons une infrastructure logicielle GPU nouvelle, écrite en CUDA C++, spécifiquement adaptée au problème d’appariement de graphe géométrique, proposant de nouveaux algorithmes parallèles de complexité calculatoire plus réduite, tels que les cartes auto-organisatrices dans le plan, des algorithmes de cluster qui en sont dérivés, et des recherches locales distribuées. Ces algorithmes parallèles sont évalués et comparés aux approches de l’état de l’art pour le problème d’appariement de graphe, en suivant un protocole d’expérimentation identique. Cette plateforme GPU constitue notre principale proposition pour contribuer à combler le fossé entre développement GPU et son application au problème général d’appariement de graphe.


  • Résumé

    Automatically finding correspondences between object features in images is of main interest for several applications, as object detection and tracking, flow velocity estimation, identification, registration, and many derived tasks. In this thesis, we address feature correspondence within the general framework of graph matching optimization and with the principal aim to contribute, at a final step, to the design of new and parallel algorithms and their implementation on GPU (Graphics Processing Unit) systems. Graph matching problems can have many declinations, depending on the assumptions of the application at hand. We observed a gap between applications based on local cost objective functions, and those applications with higher-order cost functions, that evaluate similarity between edges of the graphs, or hyperedges when considering hypergraphs. The former class provides convolution-based algorithms already having parallel GPU implementations. Whereas, the latter class puts the emphasis on geometric inter-feature relationships, transforming the correspondence problem to a purely geometric problem stated in a high dimensional space, generally modeled as an integer quadratic programming, for which we did not find GPU implementations available yet.Two complementary approaches were adopted in order to contribute to addressing higher-order geometric graph matching on GPU. Firstly, we study different declinations of feature correspondence problems by the use of the Matlab platform, in order to reuse and provide state-of-the-art solution methods, as well as experimental protocols and input data necessary for a GPU platform with evaluation and comparison tools against existing sequential algorithms, most of the time developed in Matlab framework. Then, the first part of this work concerns three contributions, respectively, to background and frame difference application, to feature extraction problem from images for local correspondences, and to the general graph matching problem, all based on the combination of methods derived from Matlab environment. Secondly, and based on the results of Matlab developments, we propose a new GPU framework written in CUDA C++ specifically dedicated to geometric graph matching but providing new parallel algorithms, with lower computational complexity, as the self-organizing map in the plane, derived parallel clustering algorithms, and distributed local search method. These parallel algorithms are then evaluated and compared to the state-of-the-art methods available for graph matching and following the same experimental protocol. This GPU platform constitutes our final and main proposal to contribute to bridging the gap between GPU development and higher-order graph matching.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Bibliothèque numérique.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.