Utilisation de données LiDAR pour la Surveillance des Champs Agricoles

Using LiDAR data for Agricultural Field Monitoring

• Auteur / Autrice : Harold Murcia moreno
• Direction : Simon Lacroix
• Type : Projet de thèse
• Discipline(s) : Robotique
• Date : Inscription en doctorat le 08/11/2021
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Systèmes
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : RIS - Robotique et Interactions
• Partenaire(s) de recherche : établissement délivrant conjointement le doctorat : Institut national des sciences appliquées (Toulouse ; 1961-....)

Mots clés

Mots clés libres

Perception

LiDAR

Crop monitoring

High-throughput phenotyping

Perception

LiDAR

Surveillance des cultures

Phénotypage à haut débit

Résumé

L'utilisation des technologies LiDAR dans l'agriculture a ouvert de nouvelles perspectives en matière de surveillance et d'arpentage des cultures. La miniaturisation des capteurs, la prolifération des micro-unités de traitement, l'utilisation de plateformes mobiles et les méthodes de traitement telles que l'apprentissage profond marquent une tendance dans le traitement des données, qui ont une structure différente de celle des systèmes de vision traditionnels. Toutefois, dans ce contexte, un examen approfondi des différentes alternatives de traitement à différents niveaux de culture pour les données à grande échelle est nécessaire. L'un des principaux défis consiste à créer une base de données étiquetée qui permette d'évaluer les descripteurs d'informations spécifiques aux mesures LiDAR et aux différentes méthodes permettant d'obtenir des indices individuels de caractérisation des arbres d'une culture. L'objectif principal de cette thèse est de proposer des cadres pour l'extraction d'indices de surveillance des cultures d'arbres en intégrant des dispositifs LiDAR et des robots mobiles sans pilote. Son champ d'application est divisé en trois étapes cruciales : la première étape de ce projet a abouti à l'exploration technique des éléments pour l'acquisition de données sur le terrain et la sélection des dispositifs et des paramètres pour la collecte de données. La deuxième étape consiste à générer une base de données avec des annotations de mesures sur le terrain et des experts dans le domaine de la gestion des cultures et du phénotypage des plantes. La collecte des données est effectuée à l'aide de deux plates-formes mobiles, l'une aérienne et l'autre terrestre, dans deux cultures différentes. Enfin, l'étape de traitement est réalisée à trois niveaux : culture, arbre et organe, en évaluant les variantes d'apprentissage automatique sur les nuages de points pour la classification sémantique, le regroupement d'arbres, la caractérisation individuelle et la corrélation respective avec les variables de terrain. À la fin du projet, il est prévu de connaître l'impact de l'intensité infrarouge, des échos multiples et de la capacité de pénétration du LiDAR sur les résultats de l'estimation finale pour la gestion des cultures et le phénotypage des arbres, ainsi que les avantages et les inconvénients des principales méthodes de surveillance des cultures utilisant uniquement des nuages de points LiDAR générés par des robots mobiles.

The use of LiDAR technologies in agriculture has brought new opportunities for crop monitoring and surveying. The miniaturization of sensors, the proliferation of micro processing units, the use of mobile platforms and processing methods such as deep learning mark a trend in the processing of data, which have a different structure than traditional vision systems. However, in this context, a thorough examination of different processing alternatives at different crop levels for large-scale data is required. A key challenge is the generation of a labeled database that enables the evaluation of information descriptors specific to LiDAR measurement and different methods for obtaining individual tree characterization indices of a crop. The main objective of this thesis is to propose frameworks for extracting tree crop monitoring indices by integrating LiDAR devices and unmanned mobile robots. Its scope is divided into three crucial steps: the first stage of this project resulted in the technical exploration of elements for field data acquisition and the selection of devices and parameters for data collection. The second stage consists of the generation of a database with annotations of field measurements and experts in the field of crop management and plant phenotyping. Data collection is carried out with two mobile platforms, one aerial and one terrestrial in two different crops. Finally, the processing stage is performed at three levels: crop, tree and organ, evaluating machine learning variants on the point clouds for semantic classification, tree clustering, individual characterization and respective correlation with field variables. At the end of the project, it is expected to know the impact of infrared intensity, multiple echoes and penetration capability of LiDAR on the final estimation results for crop management and tree phenotyping, as well as the advantages and disadvantages of the main methods for crop monitoring using only LiDAR point clouds generated from mobile robots.