Développement et tests de méthodes de vision et d'intelligence artificielles pour le contrôle et la commande des luminaires urbains

Development and Test of Computer Vision and Deep Learning Methods for Dynamic Management of Urban Lighting

• Auteur / Autrice : Masoomeh Ansarnia
• Direction : Etienne Tisserand, Patrick Schweitzer
• Type : Thèse de doctorat
• Discipline(s) : Systèmes électroniques
• Date : Soutenance le 23/11/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut Jean Lamour (Nancy ; Vandoeuvre-lès-Nancy, Metz ; 2009-....)
• Jury : Président / Présidente : Fan Yang Song
• Jury : Examinateurs / Examinatrices : Etienne Tisserand, Patrick Schweitzer, Virginie Fresse, Bruno Caillier, El-Hassane Aglzim
• Jury : Rapporteurs / Rapporteuses : Virginie Fresse, Bruno Caillier
• DOI : 10.70675/10c74efaze976z47e4z8d16z8c18db5f35bf

Mots clés

Mots clés contrôlés

Systèmes adaptatifs

Éclairage public

Apprentissage profond

Intelligence artificielle

Systèmes embarqués (informatique)

Vision artificielle (robotique)

Mots clés libres

Lumière adaptative

Deep-Learning

Intelligence artificielle

Electronique embarquée

Vision artificielle

Self-Configuring lighting

Deep learning

Artificial intelligence

Embedded electronics

Computer Vision

Résumé

Cette thèse de doctorat est réalisée dans le cadre d'un contrat de recherche entre la Société Eclatec, concepteur et fabricant français de luminaires urbains, et l'Institut Jean Lamour de Nancy. L'objectif concerne l'amélioration de l'éclairage nocturne des villes tout en réduisant la consommation électrique et la pollution lumineuse. Pour cela une caméra RGB est intégrée à la source lumineuse du lampadaire. Elle constitue le principal point de collecte d'informations. Ce choix a imposé l'utilisation d'une optique très grand angle dont l'axe est faiblement incliné par rapport à la verticale. La configuration adoptée permet d'observer en grande partie la zone éclairée par le luminaire mais se traduit par des images très déformées. A partir de ce système 4 grandes problématiques ont été étudiées. La première concerne la détection vidéo des usagers à proximité du luminaire dans des conditions de très faible éclairement afin d'assurer une gradation dynamique de l'éclairage. Cette détection exploite les modèles de deep learning de la famille Yolo que nous avons ré-entrainés par transfert learning sur une collection d'images spécifiques. Celles-ci ont été relevées en différents points de l'agglomération nancéenne à une hauteur de 6 à 8 m. Pour une scène éclairée sous 10 lux, une ouverture photographique à f/3.5 et une sensibilité fixée à 3200 ISO, le taux de détection des piétons et véhicules est supérieur à 97 %. Le modèle, implanté sur le GPU embarqué NVidia Jetson nano, permet d'atteindre une cadence d'environ 10 FPS qui reste suffisante pour notre application. La deuxième orientation étudie la reconnaissance de l'environnement autour du luminaire au moyen d'une segmentation sémantique de images. Cette segmentation sera exploitée ultérieurement pour adapter la distribution lumineuse de la matrice de leds à la situation urbaine rencontrée. Pour ce faire, nous avons fait appel au réseau de neurones OCR-HRNet qui améliore la segmentation haute résolution par l'ajout d'une représentation contextuelle tenant compte de l'agrégation des pixels. Cette architecture s'avère bien adaptée aux images de surfaces peu homogènes qui caractérisent le sol sous le luminaire. Les résultats montrent une très bonne identification des constructions et des zones végétalisées. La séparation trottoir/route reste encore délicate notamment lorsque les revêtements des voies de circulation présentent des réflectances et textures similaires. Une solution par marquage virtuel à postériori des images améliore sensiblement la précision de la segmentation notamment dans le cas de scènes ensoleillées qui présentent de nombreuses zones d'ombre. Dans un troisième temps nous avons modélisé le système optique afin de permettre une estimation de la position réelle des points du sol à partir de leur image. Une transformation Cam To World simple est proposée. Celle-ci prend en compte les paramètres extrinsèques de la prise de vue (hauteur, pitch et résolution) et la fonction de distorsion de la lentille dont la projection optique est assimilée à une loi équidistante. La précision requise n'étant pas critique, la calibration rigoureuse du système n'a pas été effectuée. Pour une zone d'observation effective de 20 m × 50 m, l'erreur de localisation est de l'ordre du mètre. Enfin nous proposons une piste d'exploitation du parc de luminaires pour l'analyse de la fluidité du trafic routier. La méthode proposée analyse le mouvement apparent des usagers par estimation du flot optique moyen dans chacune des boites englobantes détectées par Yolo. La détermination du flot optique est actuellement réalisée en mode hors ligne par l'algorithme de deep learning FlowNet2. Dans la gamme de 0 à 15 m/s la vitesse estimée du mobile présente une erreur inférieure à 1 m/s.

This doctoral thesis has been conducted within the framework of a research contract between the French urban lighting design and manufacturing company, Eclatec, and the Jean Lamour Institute in Nancy. The overarching goal of this research is to enhance nighttime urban lighting while simultaneously reducing electrical consumption and light pollution. To achieve this, an RGB camera is integrated into the streetlamp's light source, serving as the primary data collection point. This choice necessitated the use of a wide-angle lens with a slight vertical tilt in its axis. Although this configuration allows for the observation of a significant portion of the illuminated area, it results in highly distorted images. From this system, four major research challenges were investigated:1. The first challenge concerns video detection of individuals in close proximity to the luminaire under very low lighting conditions, with the aim of achieving dynamic lighting adjustment. This detection relies on deep learning models from the Yolo family, which were fine-tuned through transfer learning using a specific collection of images. These images were captured at various locations in the Nancy metropolitan area, at heights ranging from 6 to 8 meters. Under conditions of 10 lux illumination, an aperture of f/3.5, and a fixed sensitivity of 3200 ISO, the detection rate for pedestrians and vehicles exceeds 97%. The model, implemented on the embedded NVidia Jetson Nano GPU, achieves a frame rate of approximately 10 FPS, which proves adequate for our application. 2. The second research direction explores the recognition of the environment surrounding the luminaire through semantic segmentation of images. This segmentation will subsequently be employed to adapt the light distribution of the LED matrix to the encountered urban scenario. To accomplish this, we employed the OCR-HRNet neural network, which enhances high-resolution segmentation by incorporating contextual representation that considers pixel aggregation. This architecture is well-suited to images of non-uniform surfaces, characteristic of the ground beneath the luminaire. The results demonstrate excellent identification of structures and vegetated areas. However, the distinction between sidewalk and road remains challenging, particularly when road surfaces exhibit similar reflectance and textures. A post-image virtual marking solution significantly improves segmentation accuracy, especially in sunny scenes with numerous shadowed areas. 3. In a third phase, we modeled the optical system to enable the estimation of the real-world positions of ground points based on their images. A simple Cam To World transformation is proposed, accounting for extrinsic parameters of the viewpoint (height, pitch, and resolution), and the lens distortion function, approximated as an equidistant projection law. Given that stringent precision is not critical, a rigorous system calibration was not conducted. For an effective observation zone of 20 m × 50 m, the localization error is on the order of meters. 4. Finally, we propose an avenue for utilizing the lighting infrastructure to analyze traffic flow fluidity. The proposed method analyzes apparent motion of users by estimating the mean optical flow within each bounding box detected by Yolo. Currently, optical flow determination is performed offline using the deep learning algorithm FlowNet2. In the range of 0 to 15 m/s, the estimated speed of the moving object exhibits an error of less than 1 m/s.