Inspection de l'extérieur d'un aéronef à partir d'une caméra Pan-Tilt-Zoom et d'un scanner 3D portés par un robot mobile : analyse d'images et de nuages de points 3D

Exterior inspection of an aircraft using a Pan-Tilt-Zoom camera and a 3D scanner moved by a mobile robot : 2D image processing and 3D point cloud analysis

• Auteur / Autrice : Igor Jovančević
• Direction : Jean-José Orteu, Thierry Sentenac
• Type : Thèse de doctorat
• Discipline(s) : Robotique et Systèmes embarqués
• Date : Soutenance le 21/11/2016
• Etablissement(s) : Ecole nationale des Mines d'Albi-Carmaux
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Institut Clément Ader-Albi (2009-....) - Institut Clément Ader / ICA
• Jury : Président / Présidente : Michel Devy
• Jury : Examinateurs / Examinatrices : Jean-José Orteu, Thierry Sentenac, Sylvie Treuillet, David Fofi, Rafael A. Garcia
• Jury : Rapporteurs / Rapporteuses : Sylvie Treuillet, David Fofi
• DOI : 10.70675/20f70bc7z9979z470ez89dfzc1a814f6a2ed

Mots clés

Mots clés contrôlés

Vision artificielle (robotique)

Traitement d'images -- Techniques numériques

Avions -- Inspection

Lasergrammétrie

Conception assistée par ordinateur

Mots clés libres

Vision artificielle

Traitement d'images

Inspection aéronef

Caméra PTZ

Scanner 3D

CAO

Computer vision

Image processing

Airplane exterior inspection

Pan-Tilt-Zoom camera

3D scanner

CAD model

Résumé

Cette thèse s’inscrit dans le cadre d’un projet industriel multi-partenaires ayant pour objectif le développement d’un robot mobile collaboratif (un cobot), autonome dans ses mouvements au sol, capable de réaliser l’inspection visuelle d’un aéronef, à la fois en phase de petite ou grande maintenance dans un hangar ou en phase de pré-vol sur le tarmac d’un aéroport. Le cobot est équipé de capteurs lui permettant d’effectuer ses tâches de navigation autonome, mais également d’un ensemble de capteurs optiques constituant la tête d’inspection : une caméra orientable Pan-Tilt-Zoom et un scanner 3D qui délivrent respectivement des données sous forme d’images 2D et de nuages de points 3D. L’objectif de la thèse est de développer des algorithmes d’analyse d’images 2D et de nuages de points 3D, afin d’établir un diagnostic sur l’état de l’avion et son aptitude à voler. Nous avons développé des algorithmes pour vérifier certains éléments de l’appareil, tels que valves, portes, capteurs, pneus ou moteurs, et également pour détecter et caractériser des dommages 3D sur le fuselage (impacts, rayures, etc.). Nous avons exploité dans nos algorithmes les connaissances a priori disponibles, en particulier le modèle 3D CAO de l’avion (un AIRBUS A320 dans le cadre de nos essais). Durant ces travaux de la thèse, nous avons pu répondre à deux besoins (parfois antagonistes) : développer des algorithmes d’inspection rapides et robustes, mais également répondre aux exigences spécifiques d’un projet industriel qui visait à développer un prototype opérationnel. Nous nous sommes attachés à développer des algorithmes les plus génériques possibles, de manière à ce qu’ils puissent être utilisés pour d’autres types d’inspection, tels que l’inspection de bâtiments ou de navires par exemple. Nous avons aussi contribué au développement du prototype (robot mobile équipé de capteurs) en développant le module de contrôle des capteurs d’inspection et en intégrant nos codes sur le robot avec les autres modules développés par les partenaires. Le prototype a fait l’objet de nombreux essais en hangar de maintenance ou sur tarmac.

This thesis makes part of an industry oriented multi-partners project aimed at developing a mobile collaborative robot (a cobot), autonomous in its movements on the ground, capable of performing visual inspection of an aircraft during short or long maintenance procedures in the hangar or in the pre-flight phase on the tarmac. The cobot is equipped with sensors for realizing its navigation tasks as well as with a set of optical sensors which constitute the inspection head: an orientable Pan-Tilt-Zoom visible light camera and a three-dimensional scanner, delivering data in the format of two-dimensional images and three-dimensional point clouds, respectively. The goal of the thesis is to propose original approaches for processing 2D images and 3D clouds, with intention to make a decision with respect to the flight readiness of the airplane. We developed algorithms for verification of the aircraft items such as vents, doors, sensors, tires or engine as well as for detection and characterization of three-dimensional damages on the fuselage. We integrated a-priori knowledge on the airplane structure, notably numerical three-dimensional CAD model of the Airbus-A320. We argue that with investing effort to develop robust enough algorithms and with the help of existing optical sensors to acquire suitable data, we can come up with non-invasive, accurate, and time-efficient system for automatic airplane exterior inspection. The thesis work was placed in between two main requirements: develop inspection algorithms which could be as general as possible and also meet the specific requirements of an industry oriented project. Often, these two goals do not go along and the balance had to be made. On one side, we were aiming to design and assess the approaches that can be employed on other large structures, for ex. buildings, ships. On the other hand, writing source code for controlling sensors as well as integrating our whole developed source code with other modules on the real-time robotic system, were necessary in order to demonstrate the feasibility of our robotic prototype.