Vol de précision d'un drone à l'aide de capteurs visuels embarqués et d'exploitation de données multicapteurs

par Mahmoud Khairallah

Projet de thèse en Robotique

Sous la direction de Samia Bouchafa et de David Roussel.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec IBISC - Informatique, Biologie Intégrative, & Systèmes Complexes (laboratoire) , SIMOB : Systèmes Intelligents, MOdélisation et Biologie (equipe de recherche) et de Université d'Évry-Val-d'Essonne (établissement de préparation de la thèse) depuis le 01-10-2018 .


  • Résumé

    Le projet de thèse permet d'aborder des problématiques scientifiques encore ouvertes qui ont un fort potentiel d'intégration au niveau industriel. La détection et le suivi d'une surface fixe ou mobile à partir de capteurs visuels embarqués, qui peuvent tirer profit d'informations provenant d'autres capteurs, est un domaine dont les verrous sont bien identifiés. Le défi à relever dans cette thèse est de proposer une chaîne de traitement complète permettant de tenir compte des contraintes telles que la complexité en temps de calcul, la précision attendue et la robustesse aux diverses perturbations. Les scénarios envisagés devront être de complexité croissante et mettront progressivement en lumière des verrous supplémentaires (planification sur surface mobile ou sur surface fixe mais en présence d'obstacles). Les algorithmes envisagés en traitement des images, en fusion de données et en planification devront tenir compte des contraintes ci-dessous et présenter des performances acceptables malgré la complexité des scénarios. Le laboratoire IBISC possède une forte expertise en analyse d'image, en planification de trajectoire dans le domaine des véhicules aériens. Cette thèse permet de traiter d'une nouvelle application présentant de grandes retombées scientifiques. Les recherches actuelles menées dans le domaine de la robotique aérienne se focalisent sur les fonctions cruciales d'évitement d'obstacles, de décollage et d'atterrissage automatique dans des milieux inconnus. La question de l'atterrissage automatique se pose donc naturellement pour un véhicule aérien de type VTOL. Par ailleurs, la majorité des drones sont équipés de caméras pour assurer les tâches de perception de l'environnement extérieur. Le coût et la richesse des informations que l'on peut extraire des images en font un capteur privilégié même si la fusion avec d'autres types de capteurs est toujours envisagée. Le domaine de l'analyse du mouvement à partir d'une ou plusieurs caméras embarquées sur un véhicule aérien a bénéficié ces dernières années des dernières avancées et conclusions concernant la vision des insectes [1]. Il semblerait que ces derniers, pour des tâches de navigation, de détection/évitement d'obstacles ou même de stabilisation, exploitent leur sensibilité particulièrement élevée aux mouvements créés par leur propre déplacement ou celui des objets qui les entourent. Cette sensibilité se traduit par une estimation rapide et bas-niveau d'un champs de vecteurs mouvement appelé « flot optique » ou « flux optique » depuis les travaux du psychologue James Jerome Gibson [2]. Le flot optique est donc défini comme étant le champ de mouvement apparent dû aux variations d'intensités dans l'image ou la rétine. Depuis Gibson, une avancée importante a été faite dans le domaine de la vision par ordinateur par Horn & Shunck [3]. Ces derniers ont proposé une méthode d'estimation s'appuyant sur l'hypothèse d'invariance de la luminosité et sur une contrainte dite de lissage exploitant la variation lente des vecteurs mouvement entre points voisins dans l'image. Il s'en est suivi une profusion de travaux proposant des variantes qui se distinguent principalement dans les contraintes additionnelles considérées ou les méthodes d'optimisation utilisées [4]. Il est admis actuellement que les méthodes d'estimation du flot optique dites différentielles (car basées sur le calcul des gradients spatio-temporels de la fonction intensité) sont classées en deux catégories : les méthodes locales (s'appuyant sur les estimations sur des voisinages de mouvement quasi-constants) et les méthodes globales (basées sur un terme de régularisation et une propagation du flot estimé sur l'image). Très vite, des implémentations rapides ont aussi été proposées se basant sur des versions multi-échelles des approches existantes ou sur l'exploitation du processeur graphique lorsque cela était possible [5], [6], [7]. L'exploitation du flot optique pour les missions d'atterrissage sur des plateformes fixes ou mobiles a fait l'objet de quelques études [1] qui sont considérées comme des références dans le domaine [11], [12, [13]. Une des phases cruciales du projet de thèse que nous proposons sera sans aucun doute la proposition d'algorithmes de flots optiques – denses ou épars - robustes et temps réel, en tenant compte des avancées des recherches récentes sur le sujet [7], [14]. Il sera envisagé de nous appuyer sur la base de données Middlebury (http://vision.middlebury.edu/flow/) qui permet de comparer les algorithmes existants avec connaissance ou non de la vérité terrain. Nous étudierons avec une attention particulière les méthodes de flot optique s'appuyant sur les propriétés géométriques de surfaces perçues (planéité) et celles permettant d'exploiter les résidus du flot optique prédit pour détecter les obstacles. La tâche d'atterrissage nécessite une exploitation des données visuelles (flot optique dense ou épars avec ou non la surface d'atterrissage et les obstacles détectés) pour établir un schéma de commande. Une commande d'asservissement visuel est présentée dans [15]. Deux méthodes principales existent : PBVS (position-based visual servoing) et IBVS (image-based visual servoing). L'objectif principal est d'utiliser le flot optique comme indice de vitesse pour compenser la faible qualité des informations de vitesse linéaire obtenues à partir des accéléromètres. Des observateurs non linéaires sont conçus pour estimer ce flux à partir de la méthode IBVS, prenant en compte la dynamique d'un drone quadri-rotor. Le contrôleur proposé est borné, ce qui peut aider à garder les points cibles dans le champ de vision de la caméra. D'autres approches existent comme celle proposée dans [16] où un système expert basé sur des procédures de segmentation d'images permet d'assister à un atterrissage automatique sécurisé à travers la détection de l'orientation relative entre le drone et la plate-forme. Par ailleurs, quelques algorithmes bio-inspirés sont présentés dans [17] pour l'atterrissage automatique, tels que la poursuite classique, l'angle d'interception constant, l'approche de contrainte visuelle, l'approche basée sur la théorie de Thau et l'approche de descente. La vision monoculaire permet de calculer la position (position en 3D avec les angles de roulis et de tangage) d'un quadri-rotor à partir de la projection elliptique de la plate-forme circulaire sur laquelle était écrite la lettre H. Concernant la fusion de données visuelles avec d'autres données provenant d'autres capteurs, les travaux sont nombreux. Citons par exemple ceux présentés dans [18] qui proposent une combinaison pertinente entre une caméra et une centrale inertielle. Dans un tout autre registre, des réseaux neuronaux artificiels sont utilisés en [19] pour permettre la poursuite de cible mobile : cette méthode pouvant être appliquée à la poursuite d'une plate-forme mobile. L'atterrissage de drones à l'aide de capteurs pourrait tirer profit d'un bilan (en début de thèse) sur les travaux qui existent pour les hélicoptères ou les avions. Par exemple, l'appontage d'un hélicoptère sur un navire est traité dans [20] où deux types de commandes avancées sont couplées avec l'approche IBVS pour améliorer les qualités de l'atterrissage. Par ailleurs, les procédures opérationnelles de l'appontage reposent sur deux trajectoires d'approche dépendant des conditions climatiques et de visibilité [21]. Le bateau doit mettre son cap face au vent ambiant et/ou crée un vent relatif afin que la vitesse relative entre l'avion et le bateau ne soit pas trop grande. Le drone doit tout d'abord faire une détection du bateau dans une image initiale et son suivi au cours de la séquence. Le flot optique correspond au mouvement apparent dans le plan image de la scène. A partir d'une image stabilisée par l'estimation du mouvement propre de l'avion en utilisant ses capteurs inertiels et en supposant que la scène observée soit planaire, un flux optique résiduel est calculé. Ce flux optique correspond alors aux objets non planaires et/ou mobiles. L'estimation des paramètres du plan de la piste peut être affinée en utilisant l'erreur entre le flux optique attendu et celui mesuré. L'analyse de la composante de la vitesse des résidus permet de déterminer s'il s'agit d'une plate-forme statique ou dynamique. Reprenant le contrôle latéral et longitudinal de la phase d'approche, un contrôle longitudinal lors de la phase d'arrondi peut être ajouté. Pour finir, le projet de thèse pourra s'appuyer sur un bilan des travaux existants dans le domaine de l'atterrissage des drones/avions/hélicoptères en même temps que les avancées des recherches en analyse de séquences d'images et en fusion de données multi-capteurs.

  • Titre traduit

    Flying drone using on-board visual sensors and multisensor fusion


  • Résumé

    The thesis project deals with the navigation of a drone and more particularly the landing phase by privileging images analysis from an onboard camera without prohibiting the use of information from other embedded sensors. The objective is to implement a trajectory planning methods along with a detection of the landing surface. Proposed approaches will be of increasing complexity: they will initially be based on visual landmarks and then on geometric characteristics of the landing surface such as flatness. Finally, they will take into account different kind of perturbations that can alter the performance of developed algorithms. Two kinds of perturbations will be studied: those that affect the performance of the sensor (light variations, noise, ambiguities due to the presence of repetitive texture patterns, etc.), and those that can influence planning and control algorithms (gusts of wind, mobile obstacles, etc.).