Apprentissage par renforcement et transfert de la simulation au réel pour la commande adaptative d'un AUV

Reinforcement learning and sim-to-real transfer for adaptive control of AUV

• Auteur / Autrice : Thomas Chaffre
• Direction : Benoît Clément, Karl Sammut
• Type : Thèse de doctorat
• Discipline(s) : Automatique, productique et robotique
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Brest, École nationale supérieure de techniques avancées Bretagne en cotutelle avec Flinders university of South Australia
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance - CROSSING (Adelaide (SA), Australie) - Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance - FrenCh austRalian labOratory for humanS/autonomouS agents teamING
• Partenaire(s) de recherche : Entreprise : Naval Group
• Jury : Président / Présidente : Cédric Buche
• Jury : Examinateurs / Examinatrices : Isabelle Fantoni-Coichot, Vincent Creuze, Gilles Le Chenadec, Paulo E. Santos, Estelle Chauveau
• Jury : Rapporteurs / Rapporteuses : Tirthankar Bandyopadhyay, David Filliat

Mots clés

Mots clés contrôlés

Apprentissage profond

Commande, Théorie de la

Systèmes adaptatifs

Commande automatique

Pilotes automatiques (navigation)

Drones sous-marins

Mots clés libres

Commande adaptative

Apprentissage par renforcement

Robotique

Robots sous-marins

Adaptive control

Deep reinforcement learning

Robotics

Underwater vehicles

Résumé

Les pilotes automatiques pour systèmes sans pilote sont généralement conçus sur la base des retours fournis par les capteurs de vitesse et d'orientation. Dans le cas des systèmes de pilotage automatique pour véhicules sous-marins autonomes (AUV), l'objectif principal de la conception est de compenser les forces perturbatrices induites par les vagues et le courant agissant sur leur corps. Les pilotes automatiques AUV existants ne sont cependant capables de compenser que les composantes basse fréquence des perturbations induites par la mer. Il semble naturel de supposer que les performances de l'AUV pourraient être améliorées en prenant en compte la nature des perturbations dans la conception du pilote automatique. Le contrôle adaptatif fournit ce qui semble être un cadre idéal à cette fin. L'objectif de cette technique est d'ajuster automatiquement les paramètres de contrôle face à des processus inconnus ou variables dans le temps, de manière à atteindre le seuil de performance souhaité. Développés à la fin des années 1950, les cadres de contrôle adaptatifs ont été considérablement étendus et utilisés dans divers domaines [...] et les contrôleurs adaptatifs ont commencé à être largement adoptés dans l’industrie au début des années 1980. Il était alors établi que les conceptions robustes avec des paramètres fixes étaient trop limitées pour gérer des régimes complexes. L'étude des contrôleurs adaptatifs pour les manœuvres des AUV est associée à divers défis, et cette thèse s'est concentrée sur les perturbations externes parmi lesquelles : - Dynamique inconnue : l'incertitude associée à la description précise des états des vagues ou des courants est élevée. Ceci, combiné à sa nature dynamique, empêche les méthodes de contrôle par rétroaction linéaire d'atteindre des performances optimales de l'installation. Cela devient plus critique en présence de changements dans les conditions météorologiques qui imposent un facteur multiplicatif dans la composante des forces induites. La période de perturbation variera également avec la vitesse du véhicule et son orientation par rapport aux vagues ; - Non-linéarité : la réponse du contrôleur à certains points de fonctionnement doit être trop conservatrice pour satisfaire aux spécifications à d'autres points de fonctionnement. Ceci est difficile à réaliser pour des paramètres fixes obtenus par linéarisation locale, qui n’englobent pas la totalité de l’enveloppe du régime. Dans cette thèse, nous avons considéré le cas où les AUV ont une observabilité limitée du processus et donc les incertitudes susmentionnées ne sont pas mesurées par le système. Une classe de méthodes de contrôle adaptatif, connues sous le nom de contrôleurs adaptatifs basés sur l'apprentissage, a été développée pour remédier à certaines de ces limitations. Cette famille de solutions utilise des méthodes d'optimisation sans modèle capables de compenser la partie inconnue d'un processus tout en maintenant un contrôle optimal de sa partie connue à l'aide de structures de contrôle traditionnelles basées sur des modèles. Parmi les différentes méthodes sans modèle, l’apprentissage par renforcement profond est actuellement en tête. Ils exploitent des outils statistiques puissants qui donnent aux systèmes de contrôle la capacité d’apprendre et de s’améliorer automatiquement à partir de l’expérience sans qu’on leur indique explicitement comment le faire. L'objectif de cette thèse était de formaliser un nouveau contrôle adaptatif basé sur l'apprentissage utilisant l'apprentissage par renforcement profond et le contrôle adaptatif de placement de pôles. De plus, nous avons proposé un nouveau mécanisme de relecture d’expérience qui prend en compte les caractéristiques du mécanisme de relecture biologique. Les méthodes ont été validées en simulation et en situation réelle, démontrant les bénéfices de combiner les deux théories plutôt que de les utiliser séparément.

Autopilots for unmanned systems are usually designed based on the feedback provided by velocity and orientation sensors. In the case of autopilot systems for autonomous underwater vehicles (AUVs), the main objective in the design is to compensate for waves and current-induced disturbing forces acting on their body. Existing AUV autopilots are however only able to compensate for low-frequency components of sea-induced disturbances. It seems natural to assume that the AUV performance could be improved by taking the nature of the disturbances into account in the design of the autopilot. Adaptive control provides what seems to be an ideal framework for this end. The objective of this technique is to adjust automatically the control parameters when facing unknown or time-varying processes such that the desired performance threshold is met. Developed in the late 1950s, adaptive control frameworks have been considerably expanded and used in various fields, their application has been facilitated by the rapid progress in microelectronics and the increasing interaction between laboratories and companies, from aerospace to maritime industries. As a result, adaptive controllers started to be widely adopted in the industry in the early 1980s. It was established at that time that robust designs with fixed parameters are too limited to handle complex regimes. The study of adaptive controllers for AUV maneuvering is associated with various challenges, and the focus of this thesis was the external disturbances including: - Unknown dynamics: the uncertainty associated with describing precisely the states of waves or currents is high. This, together with its dynamic nature, prevents linear feedback control methods from achieving optimal performance of the plant. This becomes more critical in the presence of changes in weather conditions that impose a multiplicative factor in the component of the induced forces. The disturbance period will also vary with the speed of the vehicle and its orientation relative to the waves; - Nonlinearity: the controller response at some operating points must be overly conservative to satisfy the specification at other operating points. This is difficult to achieve for fixed parameters obtained through local linearization, that do not encompass the entire regime envelope. In this thesis, we considered the case where the AUVs have limited observability of the process and therefore the aforementioned uncertainties are not measured by the system. A class of adaptive control methods, known as learning-based adaptive controllers, have been developed to tackle some of these limitations. This family of solutions uses model-free optimization methods capable of compensating for the unknown part of a process while also maintaining optimal control of its known part using traditional model-based control structures. Among the various model-free methods, deep reinforcement learning is currently leading the field. They exploit strong statistical tools that provide control systems the ability to automatically learn and improve from experience without being explicitly told how to. The objective of this thesis was to formalize a novel learning-based adaptive control using deep reinforcement learning and adaptive pole-placement control. In addition, we proposed a novel experience replay mechanism that takes into account the characteristic of the biological replay mechanism. The methods were validated in simulation and in real life, demonstrating the benefits of combining both theories against using them separately.