Architecture Dynamiquement Auto-adaptable pour Systèmes de Vision Embarquée Multi-capteurs

Self-Adaptive Multi-Sensors Embedded Vision System

• Auteur / Autrice : Ali Isavudeen
• Direction : Mohamed Akil, Eva Dokladalova
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/12/2017
• Etablissement(s) : Paris Est
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Geneviève Baudoin
• Jury : Examinateurs / Examinatrices : Mohamed Akil, Eva Dokladalova, Joël Budin, Nicolas Ngan
• Jury : Rapporteurs / Rapporteuses : Antoine Dupret, Fan Yang Song

Mots clés

Mots clés contrôlés

Analyse de scènes (informatique)

Reconnaissance des formes (informatique)

Systèmes embarqués (informatique)

Mots clés libres

Vision Embarquée

Adaptable

Multi-Capteurs

Embedded Vision System

Adaptive

Multi-Sensors

Résumé

Un système de vision embarquée multi-capteurs est doté de plusieurs capteurs d'images de technologie différente.Il peut être un capteur couleur, un capteur infrarouge ou encore un capteur bas niveau de lumière.Les caractéristiques de ces capteurs sont également hétérogènes.Nous avons différentes fréquences trames, résolutions et dynamiques de pixels.Cette multiplicité et cette hétérogénéité des capteurs d'images permet à un système de vision de mieux répondre à ses besoins.En fait, un système de vision multi-capteurs doit fonctionner dans plusieurs milieux opérationnels (urbain, marin, boisé).Il doit également s'adapter à plusieurs conditions de luminosité (jour, nuit, faible éclairage).Enfin, la multiplicité des capteurs permet d'offrir des fonctionnalités intéressantes à l'utilisateur final : fusion multispectrale, vision panoramique, vision multi-champs.Le défi de conception est que l'ensemble de ces paramètres environnementaux et opérationnels peuvent varier dynamiquement au cours de l'utilisation du système de vision.Il est nécessaire que la conception de l'architecture tienne compte de cette variabilité dynamique du contexte d'utilisation.L'architecture doit présenter la flexibilité dynamique suffisante afin de s'adapter aux variations de contexte.Elle doit également pouvoir prendre conscience de l'évolution du contexte.La solution architecturale doit tout de même satisfaire les contraintes de surface et de consommation énergétique d'un système embarqué et portable.Nous proposons dans cette thèse un moniteur permettant à l'architecture actuelle de Safran de s'auto-adapter dynamiquement.Ce moniteur joue deux rôles dans l'auto-adaptation de l'architecture.D'une part, il observe en permanence les changements de contexte.D'autre part, il décide et pilote en conséquence les adaptations à effectuer sur l'architecture.L'observation porte sur l'environnement opérationnel et sur le système de vision multi-capteurs (y compris l'architecture).Le moniteur analyse les données d'observation et prend des décisions sur l'adaptation.Enfin, il commande les différents contrôleurs de l'architecture afin d'exécuter les adaptations requises par le changement de contexte.Nous introduisons un réseau de routeurs qui a pour principal objectif l'acheminement des données de monitoring.Le réseau proposé permet d'accéder à l'architecture sans pour autant compromettre le traitement des flux d'images.Ce réseau s'inspire de nos précédents travaux pour la mise en place d'un système de paquets de données cite{Ng2011}.Un dernier volet de notre proposition porte sur la gestion de la mémoire trames.Avec les changements de contexte permanents, le besoin en ressources de mémoire évolue dynamiquement.Pour une utilisation économique et optimale des ressources, il est nécessaire d'adapter l'attribution des ressources au fil des variations des besoins.Nous présentons un contrôleur mémoire permettant l'allocation dynamique de l'espace mémoire et la régulation dynamique de la distribution de la bande passante mémoire.Nous évaluons les différents volets de notre proposition à l'aide d'une implémentation sur un FPGA Cyclone V de chez ALTERA (5CGX).Nous présentons les validations progressivement au fur et à mesure que nous abordons chaque volet de notre proposition.Chaque validation présente les performances en temps et en surface

An embedded multi-sensor vision system involves several types of image sensors such as colour, infrared or low-light sensor.Characteristics of the sensors are often various (different resolution, frame rate and pixel depth).Hence, the vision system has to deal with several heterogeneous image streams.That multiplicity and the heterogeneity of the sensors help to face various environmental contexts.We consider a multi-sensor vision system that has to work in different area (city, sea, forest) and handle several operations (multispectral fusion, panoramic, multifocus).The vision system has to also face various luminosity conditions : day, night or low-light condition.The challenge of designing architecture for such a vision system is that the working context can dynamically vary.The designer has to take in account this dynamic variation of the working context.The architecture should be enough flexible to adapt its processing to the requirements of the context.It also has to be able to detect any variation of the context and adapt itself according to the context.Above all, the design should satisfy area and power constraints of an embedded and portable system.In this thesis, we propose an embedded monitor enabling dynamic auto-adaptation of the current multi-stream architecture of Safran.The monitor accomplishes two tasks for the auto-adaptation of the architecture.First, he continuously observes changes of both external and internal contexts.Then, he decides the adaptation that the architecture needs in response to the context variation.Observation of the external context is about the type of the area and the luminosity conditions.While, observation of the internal context focuses on the current status of the vision system and its architecture.To perform the adaptation, the monitor sends adaptation commands toward controllers of the architecture.We introduce a Network-on-Chip (NoC) based interconnexion layer to fulfill monitoring communication.This NoC is inspired from our previous work cite{Ng2011}.This layer allows observing and commanding the processing stages without compromising the existing pixels streams.Routers of the NoC are responsible for routing observation data from processing stages to the monitor and adaptation commands from the monitor toward processing stages.The proposed NoC takes in account the heterogeneity of working frequencies.Finally, we present a memory controller that enables dynamic allocation of the frame memory.When the working context changes, memory resources requirements change too.For an optimised and economical resources utilisation, we propose to dynamically adapt the frame buffer allocation.Also, the proposed has the possibility to dynamically manage the bandwidth of the frame memory.We introduce a pondered round robin-based method with the ability to adapt the weights on-the-fly.Our proposition has been evaluated with a typical Safran multi-stream architecture.It has been implemented in a FPGA target.Area performances have been evaluated through synthesis for a ALTERA Cyclone V FPGA (5CGX).Latency performances have been evaluated thanks to ModelSim simulations