Automatic landmarking for 2D biological images : image processing with and without deep learning methods
Marquage automatique des images biologiques 2D : traitement d'images avec et sans méthodes d'apprentissage profond
Résumé
Landmarks are presented in the applications of different domains such as biomedical or biological. It is also one of the data types which have been usedin different analysis, for example, they are not only used for measuring the form of the object, but also for determining the similarity between two objects. In biology, landmarks are used to analyze the inter-organisms variations, however the supply of landmarks is very heavy and most often they are provided manually. In recent years, several methods have been proposed to automatically predict landmarks, but it is existing the hardness because these methods focused on the specific data. This thesis focuses on automatic determination of landmarks on biological images, more specifically on two-dimensional images of beetles. In our research, we have collaborated with biologists to build a dataset including the images of 293 beetles. For each beetle in this dataset, 5 images correspond to 5 parts have been taken into account, e.g., head, body, pronotum, left and right mandible. Along with each image, a set of landmarks has been manually proposed by biologists. First step, we have brought a method whichwas applied on fly wings, to apply on our dataset with the aim to test the suitability of image processing techniques on our problem. Secondly, we have developed a method consisting of several stages to automatically provide the landmarks on the images.These two first steps have been done on the mandible images which are considered as obvious to use the image processing methods. Thirdly, we have continued to consider other complex remaining parts of beetles. Accordingly, we have used the help of Deep Learning. We have designed a new model of Convolutional Neural Network, named EB-Net, to predict the landmarks on remaining images. In addition, we have proposed a new procedure to augment the number of images in our dataset, which is seen as our limitation to apply deep learning. Finally, to improve the quality of predicted coordinates, we have employed Transfer Learning, another technique of Deep Learning. In order to do that, we trained EB-Net on a public facial keypoints. Then, they were transferred to fine-tuning on beetle’s images. The obtained results have been discussed with biologists, and they have confirmed that the quality of predicted landmarks is statistically good enough to replace the manual landmarks for most of the different morphometry analysis.
Les points de repère sont présentés dans les applications de différents domaines tels que le biomédical ou le biologique. C’est également l’un des types de données qui ont été utilisés dans différentes analyses, par exemple, ils ne sont pas seulement utilisés pour mesurer la forme de l’objet, mais également pour déterminer la similarité entre deux objets. En biologie, les repères sont utilisés pour analyser les variations inter-organismes. Cependant, l’offre de repères est très lourde et le plus souvent, ils sont fournis manuellement. Ces dernières années, plusieurs méthodes ont été proposées pour prédire automatiquement les points de repère, mais la dureté existe, car elles se sont concentrées sur des données spécifiques. Cette thèse porte sur la détermination automatique de points de repère sur des images biologiques, plus spécifiquement sur d’images 2D des coléoptères. Dans le cadre de nos recherches, nous avons collaboré avec des biologistes pour créer un ensemble de données comprenantles images de 293 coléoptères. Pour chaque coléoptère de cette donnée, 5 images corre-spondent à 5 parties prises en compte, par exemple tête, élytre, pronotum, mandibule gauche et droite. Avec chaque image, un ensemble de points de repère a été proposé manuellement par les biologistes. La première étape, nous avons apporté une méthode qui a été appliquée sur les ailes de mouche, à appliquer sur notre jeu de données dans le but de tester la pertinence des techniques de traitement d’image sur notre problème. Deuxièmement, nous avons développé une méthode en plusieurs étapes pour fournir automatiquement les points de repère sur les images. Ces deux premières étapes ont été effectuées sur les images de la mandibule qui sont considérées comme évidentes pour l’utilisation des méthodes de traitement d’images. Troisièmement, nous avons continué à considérer d’autres parties complexes restantes de coléoptères. En conséquence, nous avons utilisé l’aide de Deep Learning. Nous avons conçu un nouveau modèle de Convolutional Neural Network, nommé EB-Net, pour prédire les points de repère sur les images restantes. De plus, nous avons proposé une nouvelle procédurepour augmenter le nombre d’images dans notre jeu de données, ce qui est considéré comme notre limite à appliquer Deep Learning. Enfin, pour améliorer la qualité des coordonnées prédites, nous avons utilisé Transfer Learning, une autre technique de Deep Learning. Pour ce faire, nous avons formé EB-Net sur les points clés publics du visage. Ensuite, ils ont été transférés pour affiner les images de coléoptère. Les résultats obtenus ont été discutés avec les biologistes et ils ont confirmé que la qualité des repéres prédits est suffisamment bonne sur la plane statistique pour remplacer les repères manuels pour la plupart des analyses de morphométrie différentes.
Origine : Version validée par le jury (STAR)
Loading...