Apprentissage par renforcement pour le pilotage énergétique de l'éclairage dans un bâtiment connecté

Reinforcement learning for lighting energy control in a connected building

• Auteur / Autrice : Nassim Haddam
• Direction : Dominique Barth, Benjamin Cohen Boulakia
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/03/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Données et algorithmes pour une ville intelligente et durable (Versailles ; 2015-...) - Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime)
• Partenaire(s) de recherche : référent : Université de Versailles-Saint-Quentin-en-Yvelines (1991-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Jean-Michel Fourneau
• Jury : Examinateurs / Examinatrices : Baya Lydia Boudjeloud-Assala, Abder Koukam, Lila Boukhatem, Latifa Oukhellou
• Jury : Rapporteurs / Rapporteuses : Baya Lydia Boudjeloud-Assala, Abder Koukam

Mots clés

Mots clés contrôlés

Ambiance visuelle

Éclairage artificiel

Apprentissage par renforcement (intelligence artificielle)

Domotique

Mots clés libres

Bâtiment intelligent

Apprentissage par renforcement

Contrôle de l'éclairage

Confort lumineux

Intelligent building

Reinforcement learning

Lighting control

Lighting comfort

Résumé

L'enjeu de cette thèse est de proposer et de valider des algorithmes permettant un pilotage énergétique intelligent capable de s'adapter aux usagers et leurs pratiques. Nous voulons contrôler spécifiquement l'éclairage d'une pièce dans laquelle l'usager peut interagir librement avec le système. Ceci nous a amené à concevoir un modèle simulant les réactions de l'usager face au changement du signal lumineux. Ce modèle n'est pas connu par l'algorithme de contrôle et sert uniquement à tester et à valider les algorithmes de contrôle que nous proposons. Le modèle de l'usager a les propriétés suivantes :- L'usager réagit souvent pour les valeurs faibles du signal et peu souvent pour les valeurs fortes du signal.- Les réactions de l'usager dépendent du passé (non-stationnarité) et elle est dominée par les expériences les plus récentes. - Si le signal a pris des valeurs faibles par le passé, l'usager aura tendance à réagir plus souvent que si le signal avait pris des valeurs fortes. Nous proposons des algorithmes capables de contrôler la lumière du bâtiment sans connaitre au préalable le modèle de l'usager. À cet effet, nous avons utilisé l'apprentissage par renforcement. Dans l'apprentissage par renforcement, un agent évolue dans un environnement donné et il veut effectuer une certaine tâche. L'agent apprend à effectuer cette tâche par essai et erreur en interagissant continuellement avec l'environnement. L'apprentissage par renforcement est à priori le seul modèle permettant d'optimiser un objectif donné sans connaissance de l'environnement.Dans cette thèse, nous étudions plusieurs paradigmes pour le système de contrôle dans lesquelles la décision de l'agent est modélisée de façon différente :- Le paradigme par choix de variation du signal dans lequel le choix du système porte sur la vitesse de baisse du signal et la valeur du signal sur laquelle il faut s'arrêter. Le contrôle concerne l'ensemble de la variation du signal.- Le paradigme par choix de valeur du signal dans lequel le choix de l'agent porte sur la valeur actuelle. L'agent choisit une valeur dans le voisinage de la valeur courante.Les contributions principales de cette thèse ont été de proposer des algorithmes d'apprentissage par renforcement afin de modéliser ces deux types de systèmes et de comparer les performances de ces algorithmes pour différents paramétrages de l'agent et de l'usager.Le paradigme par choix de variation du signal a été formulé avec l'apprentissage par renforcement sans états. Nous avons comparé les performances des algorithmes d'apprentissage par renforcement suivants : epsilon-greedy, LRI, LRP, la poursuite et la poursuite hiérarchique. Nous nous sommes intéressés spécifiquement à l'évolution au cours du temps de l'énergie, de la récompense, et de l'état de l'usager. Bien entendu, la vitesse de convergence et la qualité de convergence ont aussi été pris en compte.Le paradigme par choix de valeur du signal a été formulé avec l'apprentissage par renforcement basé sur les états. Nous avons étudié les performances des algorithmes les plus populaires : SARSA et Q-learning. La convergence des algorithmes, l'énergie consommée ainsi que la récompense et l'état de l'usager ont étés pris en compte dans cette comparaison.

The challenge of this thesis is to propose and validate algorithms allowing an intelligent energy control to adapt to users and their practices. In this thesis, we want to specifically control the light in a room in which the user can freely interact with the system. This led us to design a model simulating the user's reactions to the change of the light signal. This model is not known by the control algorithm and is only used to test and validate our proposed control algorithms. The user model has the following properties:- The user reacts often for low signal values and infrequently for high signal values.- user's reaction depends on the past (non-stationarity) and is dominated by the most recent experiences.- the signal has taken low values in the past, the user will tend to react more often than if the signal had taken high values. We propose algorithms able to control the building light without knowing the user's model. For this purpose, we used reinforcement learning. In reinforcement learning, an agent evolves in a given environment and wants to perform a certain task. The agent learns to perform this task through trial and error by continuously interacting with the environment. Reinforcement learning is a priori the only model allowing to optimize a given objective without knowledge of the environment.We study several paradigms for the control system in which the agent's decision is modeled differently:- The paradigm by choice of signal variation in which the choice of the system concerns the speed of the signal decrease and the value of the signal on which to stop. The control concerns the whole signal variation.- The paradigm by choice of signal value in which the agent's choice concerns the current value. The agent chooses a value in the neighborhood of the current value.The main contributions of this thesis have been to propose reinforcement learning algorithms to model these two types of systems and to compare the performances of these algorithms for different settings of the agent and the user.The signal variation choice paradigm was formulated with stateless reinforcement learning. We compared the performance of the following reinforcement learning algorithms: epsilon-greedy, LRI, LRP, tracking, and hierarchical tracking. We were specifically interested in the evolution over time of energy, reward, and user state. Of course, the convergence speed and the convergence quality have also been taken into account.The signal value choice paradigm has been formulated with state-based reinforcement learning. We studied the performance of the most popular algorithms: SARSA and Q-learning. The convergence of the algorithms, the energy consumed as well as the reward and the state of the user were taken into account in this comparison.