Détection et suivi d'objets en temps réel grâce à l'apprentissage profond sur un accélérateur matériel

par Solomon negussie Tesema

Projet de thèse en Informatique

Sous la direction de El-Bay Bourennane.

Thèses en préparation à Bourgogne Franche-Comté , dans le cadre de École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; Dijon ; Belfort) , en partenariat avec LE2I - Laboratoire d'Electronique, d'Informatique et de l'Image (laboratoire) depuis le 01-02-2018 .


  • Résumé

    La détection et le suivi d'objets en temps réel est l'un des domaines les plus actifs et les plus étudiés de la vision par ordinateur, de l'apprentissage automatique et de l'intelligence artificielle, en raison de la vaste application du concept dans la vie réelle. Le domaine d'application englobe de nombreuses applications dans le contrôle du trafic, l'interaction homme-machine, la criminalistique numérique, la reconnaissance gestuelle, la réalité augmentée, la traduction en langue des signes, la surveillance visuelle et les excréments. Le véritable défi de la détection et du suivi des objets réside dans l'intensité de calcul due aux distorsions et aux bruits possibles. De plus, les exigences de traitement en temps réel imposent d'autres difficultés en raison de la nécessité de mettre en œuvre un système de suivi d'objets haute performance. Dans cette thèse, nous avons l'intention d'implanter le réseau de neurones à convolution (CNN), une architecture d'apprentissage en profondeur pour le traitement d'image grâce à sa propriété d'invariance de décalage, moins de mémoire requise et un algorithme de formation facile. Contrairement à d'autres algorithmes de traitement d'image, la propriété invariante de CNN aide à supporter l'effet de dynamicité d'un objet en mouvement tel que présence de différentes conditions d'éclairage, poses différentes, occlusions partielles, décalages horizontaux et verticaux etc. à travers un espace. Le FPGA sera utilisé comme accélérateur matériel pour satisfaire les besoins en ressources informatiques de CNN. Ce système de suivi d'objets en temps réel dédié sera d'abord mis en œuvre et testé en utilisant Matlab, puis il sera conçu en utilisant le langage de description du matériel (HDL) ciblant les FPGA Xilinx pour l'accélération.

  • Titre traduit

    Real Time Object Detection and Tracking using Deep Learning on Hardware Accelerator


  • Résumé

    Object detection and tracking in real time is one of the most active and widely being researched area of computer vision, machine learning and/artificial intelligence, due to existence of vast application of the concept in real life. The application area encompasses numerous applications in traffic control, human-computer interaction, digital forensics, gesture recognition, augmented reality, sign language translation, visual surveillance and excreta. The real challenge in object detection and tracking is its computation intensiveness due to possible distortions and noises. Additionally, the real time processing requirements impose further difficulty due to the need for implementations of high performance object tracking system. In this thesis, we intend to implement convolution neural network (CNN), a deep learning architecture for the image processing due to its shift invariance property, fewer memory requirement and easy and better training algorithm. Unlike other image processing algorithms, the shift invariant property of CNN helps to withstand the effect of dynamicity of a moving object such as presence of different lighting conditions, different poses, partial occlusions, horizontal and vertical shifts and etc due to employment of same weight configuration across a space. FPGA will be used as hardware accelerator to satisfy the large computational resource requirement of CNN. This dedicated real time object tracking system will be first implemented and tested using Matlab and then it will be designed using hardware description language (HDL) targeting Xilinx FPGAs for acceleration.