prise de décision dynamique en cas d'incertitude dans l'acheminement des véhicules et la logistique

par Nicholas Kullman

Projet de thèse en Informatique

Sous la direction de Jean-Charles Billaut, Jorge Ernesto Mendoza gimenez et de Justin Goodson.

Thèses en préparation à Tours , dans le cadre de Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS , en partenariat avec Laboratoire d'Informatique Fondamentale et Appliquée de Tours (laboratoire) depuis le 05-01-2017 .


  • Résumé

    Cette thèse présente trois études menées sur des problèmes de tournées dynamiques. En particulière, elle se concentre sur les challenges résultants de l'utilisation de véhicules électriques dans les systèmes logistiques et de transports. Dans la première étude, nous introduisons le problème de tournées de véhicules électriques avec des bornes de recharge publiques et privées. Dans ce contexte, les véhicules peuvent recharger leurs batteries en route, dans des bornes publiques, ainsi qu'au dépôt (bornes privées). Pour se protéger contre l'incertitude de la disponibilité des bornes publiques, nous présentons des politiques de routage qui anticipent la dynamique des files d'attente des bornes. Nos politiques se basent sur une décomposition du problème en deux phases : routage et planification des opérations de recharge. Grâce à cette décomposition, nous obtenons la politique statique optimale, ainsi qu'un certain nombre de politiques dites « anticipatoires » et une borne inférieure. Des tests numériques effectués sur des instances réelles fournies par une entreprise, monter que nos politiques sont capables de livrer des solutions avec un gap d'optimalité de moins de 5%. Nos tests montrent aussi que permettre aux véhicules de charger en dehors du dépôt (même en présence d'incertitude sur la disponibilité des bornes) se traduit par des économies considérables dans la durée des routes. Dans la deuxième étude, nous considérons le problème d'un opérateur contrôlant une flotte de véhicules de tourisme avec chauffeur (VTCs) électriques. L'opérateur, qui cherche à maximiser ses revenus, doit affecter les véhicules aux demandes au fur et à mesure de leur apparition ainsi que charger et repositionner les véhicules en prévision des demandes futures. Pour attaquer ce problème, nous utilisons des approches basées sur l'apprentissage par renforcement profond. Pour mesurer la qualité de nos approches, nous avons développé aussi une heuristique proche de celle typiquement utilisée dans l'affectation de taxis, ainsi que des bornes supérieures. Nous testons nos approches dans des instances construites à partir de données réelles de l'île de Manhattan. Nos tests montrent que notre meilleure politique basée sur l'apprentissage profond livre des résultats supérieurs à ceux livrés par l'heuristique. Les tests montrent aussi que cette stratégie passe facilement à l'échelle et peut être déployée sur de plus grandes instances sans entrainement supplémentaire. La dernière étude introduit une nouvelle approche générique pour modéliser des problèmes d'optimisation dynamique sous la forme de jeux vidéo de type Atari. L'objectif est de les rendre abordables à travers de méthodes de solution issus de communauté d'apprentissage par renforcement profond. L'approche est flexible et applicable à un large éventail de problèmes. Pour illustrer son application, nous nous attaquons à un problème bien établie dans la littérature : le problème de tournées de véhicules avec des requêtes de service stochastiques. Nos résultats préliminaires sur ce problème sont très encourageants et montrent que « l'Atari-fication » peut être la voie pour résoudre des problèmes d'optimisation dynamique qui s'avèrent difficiles pour les approches basées sur les outils classiques de la recherche opérationnelle. Le dernier chapitre présente deux logiciels développées pour supporter nos recherches. Le premier, VRP-REP Mapper, est un outil web pour visualiser et analyser des solutions pour les problèmes de tournées de véhicules. Cette outil a été intégré a www.vrp-rep.org, la plateforme de référence pour le partage de données scientifiques dans le domaine. Le deuxième outil, nommé frvcpy, permet de déterminer l'insertion optimal des opérations de recharge dans une tournée prédéterminée. Ce logiciel et son code source, présenté comme une bibliothèque Python, a été mis à disposition de la communauté scientifique.

  • Titre traduit

    dynamic decision making under uncertainty in vehicle routing and logistics


  • Résumé

    This thesis details three problems and two software tools related to dynamic decision making under uncertainty in vehicle routing and logistics, with an emphasis on the challenges encountered when adopting electric vehicles. We first introduce the electric vehicle routing problem with public-private recharging strategy in which vehicles may recharge en-route at public charging infrastructure as well as at a privately-owned depot. To hedge against uncertain demand at public charging stations, we design routing policies that anticipate station queue dynamics. We leverage a decomposition to identify good routing policies, including the optimal static policy and fixed-route-based rollout policies that dynamically respond to observed queues. The decomposition also enables us to establish dual bounds, providing a measure of goodness for our routing policies. In computational experiments using real instances from industry, we show the value of our policies to be within five percent of the value of an optimal policy in the majority of instances and within eleven percent on average. Further, we demonstrate that our policies significantly outperform the industry-standard routing strategy in which vehicle recharging generally occurs at a central depot. Our proposed methods for this problem stand to reduce the operating costs associated with electric vehicles, facilitating the transition from internal-combustion engine vehicles. We then consider the problem of an operator controlling a fleet of electric vehicles for use in a ridehailing service. The operator, seeking to maximize revenue, must assign vehicles to requests as they arise and recharge and reposition vehicles in anticipation of future requests. To solve this problem, we employ deep reinforcement learning, developing policies whose decision making uses Q-value approximations learned by deep neural networks. We compare these policies against a common taxi dispatching heuristic and against dual bounds on the value of an optimal policy, including the value of an optimal policy with perfect information which we establish using a Benders-based decomposition. We assess performance on instances derived from real data for the island of Manhattan in New York City. We find that, across instances of varying size, our best policy trained with deep reinforcement learning outperforms the taxi dispatching heuristic. We also provide evidence that this policy may be effectively scaled and deployed on larger instances without retraining. We then present a new general approach to modeling research problems as Atari-like videogames to make them amenable to recent solution methods from the deep reinforcement learning community. The approach is flexible, applicable to a wide range of problems. Here, we demonstrate its application on the well-studied vehicle routing problem with stochastic service requests. Our preliminary results on this problem, though not transformative, show signs of success and suggest that Atari-fication may be a useful modeling approach for researchers studying problems involving sequential decision making under uncertainty. We then introduce Mapper, the first of our two proposed software tools. Mapper is a simple web-based visualizer of problem instances and solutions for vehicle routing problems. It is designed to accompany the suite of tools already available to users of the vehicle routing community's website, The Vehicle Routing Problem Repository. Finally, we introduce the second software tool, frvcpy. In the routing of electric vehicles, one of the most challenging tasks is determining how to make good charging decisions for an electric vehicle traveling a given route. This is known as the fixed route vehicle charging problem. An exact and efficient algorithm for this task exists, but its implementation is sufficiently complex to deter researchers from adopting it. In this work we introduce frvcpy, an open-source Python package implementing this algorithm. Our aim with the package is to make it easier for researchers to solve electric vehicle routing problems, facilitating the development of optimization tools that may ultimately enable the mass adoption of electric vehicles.