Développement d'un protocole de contrôle autonome pour un réseau de flottes de drones à l'aide de l'apprentissage automatique

Development of an autonomous control protocol for a UAV fleet network using machine learning

• Auteur / Autrice : Abdulhakeem Abdulazeez
• Direction : Tara Ali Yahiya, Steven Martin, Nicola Roberto Zema
• Type : Thèse de doctorat
• Discipline(s) : Sciences des réseaux, de l'information et de la communication
• Date : Soutenance le 18/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Stefano Secci
• Jury : Examinateurs / Examinatrices : André-Luc Beylot, Khaled Boussetta, Véronique Vèque
• Jury : Rapporteurs / Rapporteuses : André-Luc Beylot, Khaled Boussetta

Mots clés

Mots clés contrôlés

Localisation

Drones

Apprentissage automatique

RSSI (télécommunications)

Qualité de Service (télécommunications)

Mots clés libres

Véhicules autonomes

Drone

UAV

Quadricoptère

Apprentissage automatique

MARL

MADDPG

Localisation

Contrôle de formation

Autonomous Vehicles

UAV

Quadcopter

Machine Learning

MARL

MADDPG

Localization

Formation Control

Résumé

Dans le contexte de la robotique en réseau sans fil, des missions complexes, telles que la recherche et le sauvetage autonomes, peuvent nécessiter l’utilisation de plusieurs véhicules aériens sans pilote (UAV) déployés en formation afin d’augmenter l’efficacité et la qualité de service (QoS) tout en garantissant des impératifs spécifiques à la mission, tels que la maximisation de la couverture d’une zone en un seul passage de la flotte sur des sous-sections de celle-ci. Pour relever ces défis, un protocole efficace de localisation et de contrôle de formation est nécessaire.Les solutions existantes proposées pour la localisation à faible coût des UAV utilisant les valeurs de l’indicateur de puissance du signal reçu (RSSI) ont été conçues pour des environnements intérieurs, en réponse à la limitation du Global Navigation Satellite System (GNSS) en intérieur, ce qui les rend inapplicables aux environnements extérieurs.Celles développées pour fonctionner en extérieur sont soit inadaptées aux nœuds mobiles, soit inapplicables aux dispositifs aériens déployés dans des environnements complexes avec des effets de propagation variables. De plus, les protocoles de contrôle existants spécifiquement conçus pour le contrôle autonome des flottes de drones ne tiennent pas compte de l’orientation de la formation.Afin de couvrir ces aspects, cette thèse propose un protocole de contrôle de formation basé sur l’apprentissage, comprenant trois mécanismes de contrôle pour aborder les questions d’estimation de distance en extérieur, d’adaptation de la vitesse et d’orientation de la formation. Le protocole adapte le principe d’apprentissage par renforcement multi-agents (MARL) pour autopiloter la structure leader-suiveur de la flotte de drones en utilisant uniquement les valeurs RSSI reçues par les UAV lors des communications sans fil avec leursvoisins. Les suiveurs doivent suivre le leader tout en maintenant la structure leader-suiveur préconfigurée de manière autonome. Tout d’abord, un estimateur de distance basé sur un réseau de neurones profonds (DNN) utilisant le RSSI a été développé pour fournir des estimations plus précises de la distance entre n’importe quelle paire d’UAV en formation afin d’améliorer la localisation. L’estimateur a été entraîné à l’aide d’un ensemble de données collectées par simulation pour diverses configurations de formation en termes de vitesse, d’altitude, de tailles de formation et de modèles de perte de propagation. Le deuxième protocole traite du problème de l’adaptation de la vitesse en utilisant le principe basé sur le MARL, intégrant l’estimateur de distance basé sur le RSSI pour le calcul des distances. Les suiveurs sont formés par l’expérience collective de l’environnement pour ajuster leur vitesse de manière autonome par rapport à celle du leader lors d’un mouvement linéaire. Pour résoudre le problème d’alignement de l’orientation, un protocole de détection de direction et d’alignement de formation a été développé en utilisant le principe basé sur le MARL. Comme l’adaptateur de vitesse, ce protocole intègre également l’estimateur de distance. Les drones suiveurs sont entraînés à détecter la direction de vol du leader et à tourner comme un corps rigide autour de l’axe de lacet pour se réaligner sur le leader. Nous avons implémenté le protocole en utilisant NS3-3.35 intégré à la bibliothèque d’apprentissage automatique mlpack et évalué ses performances à travers plusieurs essais expérimentaux. Les résultats démontrent que le protocole atteint de meilleures performances en termes d’erreur estimée de distance tolérable, de stabilité de formation, d’erreur de déviation de formation et de temps de réponse accru.

In the context of wireless networked robotics, complex missions, such as autonomous search and rescue may require the use of multiple Unmanned Aerial Vehicles (UAVs) deployed as a formation to achieve higher efficiency and Quality of Service (QoS) while assuring mission-specific imperatives like the maximization of area covered in a single passage of the fleet over area subsections. Addressing these challenges requires an efficient localization and formation control protocol.Existing solutions proposed for low-cost localization of UAVs using Received Signal Strength Indicator (RSSI) values, were designed for indoor environments in response to the limitation of Global Navigation Satellite System (GNSS) indoors, making them not applicable to outdoor environments.Those developed to work outdoors are either unsuitable for mobile nodes or not applicable for aerial devices deployed in complex environments with varying propagation effects. Also, existing control protocols designed specifically for autonomous control of UAV-fleet do not consider the formation orientation. To cover these areas, this thesis presents an efficient learning-based formation control protocol consisting of three control mechanism to address the issue of outdoor distance estimation, speed adaptation, and formation orientation. The protocol adapts the Multi-Agent Reinforcement Learning (MARL) principle to autopilot the UAV fleet leader-follower structure using only RSSI values the UAVs receive during wireless communication with their neighbors. The followersare expected to follow the leader while maintaining the pre-configured formation leader-follower structure autonomously. First, a DNN RSSI-based distance estimator was developed to provide more accurate estimates of the distance between any pair of UAVs in formation for better localization. The estimator was trained using a dataset collected through simulation for varying formation configurations in terms of speed, altitude, formation sizes, and propagation loss models. The second protocol addresses the issue of speed adaptation using the MARL-based principle, incorporating the RSSI-based distance estimator for ranging. The followers are trained through the collective experience of the environment to autonomously adjust their speed relative to that of the leader during a linear movement.To address the orientation alignment problem, a direction detection and formation alignment protocol was developed using the MARL-based principle. Like the speed adapter, this protocol also incorporates the distance estimator. Follower UAVs are trained to detect the direction of flight of the leader and rotate as rigid body along the yaw-axis to realign themselves with the leader. We implemented the protocol using NS3-3.35 incorporated with mlpack machine learning library, and evaluated its performance using several experimental trials. The results demonstrate that the protocol achieves better, tolerable estimated distance error, formation stability, formation deviation error, and increased response time.