Détection d’objets imbriqués dans des scènes denses par Apprentissage Profond - Application à la détection d’abeilles et de varroas

Detection of Nested Objects in Dense Scenes using Deep Learning - Application to Bee and Varroa Detection

• Auteur / Autrice : Yassine Kriouile
• Direction : Corinne Ancourt, Katarzyna Wegrzyn-Wolska
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique et automatique
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en informatique (Fontainebleau, Seine et Marne)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Amar Ramdane-Cherif
• Jury : Examinateurs / Examinatrices : Corinne Ancourt, Katarzyna Wegrzyn-Wolska, Lamine Bougueroua, Faten Chaieb-Chakchouk, Slim M'hiri, Hassen Drira
• Jury : Rapporteurs / Rapporteuses : Amar Ramdane-Cherif, Anna Fabijanska

Mots clés

Mots clés contrôlés

Abeille domestique

Traitement d'images -- Techniques numériques

Apprentissage profond

Varroa

Reconnaissance d'objets (informatique)

Mots clés libres

Apprentissage profond

Détection d'objets

Scènes denses

Objets imbriqués

Varroa

Abeille

Réseau de neurones

Faster R-CNN

Mask R-CNN

Segmentation d'objets

Deep learning

Object detection

Dense scenes

Nested objects

Bee

Neural network

Object segmentation

Faster R-CNN

Mask R-CNN

Varroa

Résumé

Dans cette thèse, nous abordons deux problèmes essentiels lors de la détection d'objets en traitement d'image : 1) maintenir une bonne précision d'objets détectés, essentiellement dans le cas d’images denses et 2) détecter des objets potentiellement imbriqués dans les premiers. Ces deux problématiques existent particulièrement dans le domaine apicole. En effet, un apiculteur doit veiller au niveau d'infestation de son rucher par le parasite varroa qui s’installe sur le dos des abeilles. Les méthodes de traitement d'images par ordinateur peuvent être utilisées pour automatiser cette tâche et la rendre plus précise.L'apprentissage profond est à l'origine de progrès dans de nombreux domaines liés à la technologie, notamment en reconnaissance faciale et vocale, et dans le traitement automatisé du langage et des images. Nous avons appliqué et adapté ces techniques à nos problématiques. Nos travaux sont basés notamment sur le réseau de neurones Faster R-CNN. Nous proposons une extension de cette architecture pour améliorer la précision de la détection des objets imbriqués dans les scènes denses.Notamment, nous proposons d’ajouter à ce réseau des branches qui détectent les objets à partir de leurs coins. Cela permet de retrouver les objets partiellement cachés. Afin de détecter les objets potentiellement imbriqués, nous nous sommes basés sur l’architecture Mask R-CNN, une extension de Faster R-CNN, dédiée à la segmentation d’objets. Nous ajoutons une branche au Faster R-CNN pour segmenter les objets internes.Nos expériences sont basées sur un ensemble d'images de scènes denses d'abeilles, contenant des abeilles et des varroas annotés, que nous avons constitué. Les abeilles et les varroas sont les objets imbriqués à détecter. Nos résultats montrent une amélioration de +10% de la précision de détection par rapport à l’approche standard. Après avoir testé différents manières d’extraire les informations pour la segmentation, nous avons défini un seul réseau de neurones capable de détecter les deux types d'objets imbriqués sans diminution de la précision par rapport à deux réseaux de neurones séparés.Nous montrons également que notre architecture de réseaux de neurones étendue améliore la détection d’objets dans d’autres domaines tels que celui de la détection des personnes dans les scènes denses, où nous avons des résultats qui atteignent +3% par rapport l’approche standard.

In this thesis, we address two essential problems related to the detection of objects and image processing: 1) maintaining a good precision of detected objects, essentially in the case of dense images and 2) detecting objects potentially nested in the first. These two problems exist particularly in the beekeeping sector. Indeed, a beekeeper must ensure the level of infestation of his apiary by the varroa parasite which settles on the backs of bees. Computer image processing methods can be used to automate this task and make it more accurate.Deep learning is driving advances in many technology-related areas, including facial and voice recognition, automated language and image processing. We have applied and adapted these techniques to our problems. Our work is based in particular on the Faster R-CNN neural network. We propose an extension of this architecture to improve the accuracy of nested object detection in dense scenes.To improve object detection in dense scenes, we propose to add branches to the Faster R-CNN neural network that detect objects from their corners. This allows to find partially hidden objects. In order to detect potentially nested objects, we rely on the Mask R-CNN architecture, an extension of Faster R-CNN dedicated to object segmentation. We add a branch to the Faster R-CNN to segment internal objects.Our experiments are based on a set of images of dense bee scenes, containing annotated bees and varroa mites, that we have put together. Bees and varroa mites are nested objects to detect. Our results show an improvement that reaches +10% in detection accuracy compared to the standard approach. After testing different ways to extract information for segmentation, we ended up with a single neural network capable of detecting two nested objects without decreasing accuracy compared to two separate neural networks.We also show that our extended neural network architecture improves object detection in other areas such as people detection in dense scenes, where we have results that reach +3% compared to the standard approach.