Contributions à la vision par ordinateur et à l'apprentissage automatique pour les tests des variétés végétales

Contributions to computer vision and machine learning for plant variety testing

• Auteur / Autrice : Mouad Zine El Abidine
• Direction : David Rousseau, Helin Dutağacı, Pejman Rasti
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 04/10/2022
• Etablissement(s) : Angers
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : LARIS. Laboratoire Angevin de Recherche en Ingénierie des Systèmes (EA7315) - Laboratoire Angevin de Recherche en Ingénierie des Systèmes / LARIS
• Jury : Président / Présidente : Gerhard Buck-Sorlin
• Jury : Examinateurs / Examinatrices : Maria José Aranzana, Manuela Zude-Sasse
• Jury : Rapporteurs / Rapporteuses : Jean-Pierre Da Costa, Adel Hafiane

Mots clés

Mots clés contrôlés

Apprentissage profond

Robotique

Pommiers

Automatisation

Apprentissage automatique

Vision par ordinateur

Mots clés libres

Reconstruction 3d

Tests des varietes vegetales

Computer vision

Machine learning

3D reconstruction

Automation

Variety testing

Apples

Robotics

Deep learning

Résumé

Cette thèse propose des contributions originales de vision par ordinateur et apprentissage automatique pour les tests des variétés végétales. L’imagerie pour les plantes s’est développée ces dernières années en direction du phénotypage pour des expérimentations en milieu contrôlé ou pour le domaine de l’agriculture. Le domaine des tests des variétés végétales consiste à réaliser des mesures pour valider la qualité et l’originalité de toute nouvelle variété avant d’autoriser sa commercialisation. Il a été jusqu’ici peu étudié au moyen d’outils numériques et les tests actuels sont le résultat d’inspections visuelles.Dans cette thèse, nous avons contribué à la vision par ordinateur et à l'apprentissage automatique appliqués aux tests de variétés de pommes, en particulier les tests de distinction pendant les périodes de pré-récolte (dans les vergers) et de post-récolte (dans les milieux contrôlés). Les méthodologies proposées ont une valeur générique. Automatiser les mesures réalisées durant un test de distinction dans les vergers des tests des variétés représente un défi puisque chaque arbre appartient à une variété et que les arbres peuvent être proches les uns des autres. Nous avons développé une méthode originale pour séparer les arbres. Cette méthode a été appliquée au comptage des pommes en les associant à leurs variétés [1]. Nous avons démontré la possibilité d'évoluer vers des tests de distinction numérique dans des milieux contrôlés en utilisant l'apprentissage automatique de manière supervisée par le biais du transport optimal. Cette approche a été illustrée dans le test de distinction basé sur la couleur de pomme [2]. De même, nous avons proposé une méthode alternative basée sur l'apprentissage automatique non supervisé. Certains traits dans les tests des variétés sont mesurés par des examinateurs à l'aide des dessins issus du catalogue de l'union pour la protection des obtentions végétales (UPOV). Nous avons montré pour la première fois qu'il est possible d'utiliser ces dessins comme référence numérique pour permettre l'automatisation des mesures sans remettre en cause les pratiques actuelles [3]. Dans les tests des variétés, certains traits sont mesurés suivant une échelle ordinale. L'ordinalité peut être un critère à vérifier dans l'espace des caractéristiques pour valider une méthode d'apprentissage automatique. Nous avons introduit une nouvelle méthode de réduction de dimension spécifiquement adaptée à la visualisation de données sur des échelles ordinales et deux métriques pour quantifier l'ordinalité dans l'espace des caractéristiques [4,5]. Ces techniques ont été illustrées sur des données synthétiques et des données réelles issues de tests de résistance des maladies foliaires [6,7]. L’utilisation de l'apprentissage automatique supervisé nécessite l'annotation des données, ce qui peut prendre beaucoup de temps. Nous avons développé une approche d’acquisition d’images originale qui permet de réduire le temps d’annotation et envisager une transition numérique qui ne constitue pas une perte de temps pour les experts annotateurs [8]. Dans la même optique, nous avons démontré que les images acquises dans un environnement contrôlé pouvaient être ajoutées aux images acquises dans les vergers et ainsi "booster" l'apprentissage automatique via l'apprentissage par transfert [9].

This thesis proposes original contributions to computer vision and machine learning for plant variety testing. Plant variety testing is a set of tests performed by examiners to certify candidate varieties to be registered in the catalog of varieties for commercialization. Computer vision is widely used in precision agriculture and plant breeding, unlike in variety testing measurements, which are based on visual inspection. In this thesis, we contributed to the computer vision and machine learning applied to apple variety testing, particularly the distinctness tests during the preharvest and post-harvest periods. The methodologies proposed are generalizable and low-cost. Automating measurements for the preharvest distinctness tests in variety testing orchards is challenging since each tree belongs to a variety and trees can be close to each other (intersecting). We developed a novel methodology to separate trees. This methodology was applied in the apple fruit counting and associated the counting to the correct tree. We demonstrated the possibility to shift toward numerical distinctness tests during the post-harvest period using machine learning in a supervised manner through optimal transport. This approach was illustrated in the distinctness test based on color. Likewise, we proposed an alternative method based on unsupervised machine learning. Some traits in variety testing are measured by examiners using drawings from the catalog of the international union for the protection of new varieties of plants (UPOV). The drawings serve as a reference for the human eye. We have shown for the first time that it is possible to use these drawings as a numerical reference to allow the automation of measurements without disrupting or challenging current practices. In variety testing, some traits are measured on an ordinal scale. The ordinality can be a criterion to be checked in the feature space to validate a machine learning method. We introduced a new dimension reduction method specifically adapted to visualize data on ordinal scales and two metrics to quantify ordinality in feature space. These techniques have been illustrated on synthetic data and real data from disease resistance testing.The use of supervised machine learning requires the annotation of data which can be time-consuming. We developed a novel image acquisition approach that reduces annotation time and allows for a numerical transition of variety testing that is not a waste of time for expert annotators [8]. For the same purpose, we demonstrated that images acquired in a controlled environment could be used to perform data augmentation on the orchard datasets and thus "boost" the machine learning training via the transfer learning.