Vérification de systèmes infinis et apprentissage automatique

Verification of Infinite-State Systems and Machine Learning

• Auteur / Autrice : Igor Khmelnitsky
• Direction : Serge Haddad, Alain Finkel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/01/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Méthodes formelles (Gif-sur-Yvette, Essonne ; 2021-....)
• Jury : Président / Présidente : Patricia Bouyer-Decitre
• Jury : Examinateurs / Examinatrices : Javier Esparza, Ranko Lazic, Dana Fisman, Laure Petrucci, Pierre-Alain Reynier
• Jury : Rapporteurs / Rapporteuses : Javier Esparza, Ranko Lazic

Mots clés

Mots clés contrôlés

Logiciels -- Vérification

Apprentissage supervisé (intelligence artificielle)

Petri, Réseaux de

Mots clés libres

Réseaux de Petri

Apprentissage automatique

Vérification

Petri nets

Machine learning

Verification

Résumé

Cette thèse contient trois parties. La première est consacrée à la vérification des réseaux de Petri, la seconde à la vérification des réseaux de Petri récursifs qui étendent les réseaux de Petri et la dernière combine l'apprentissage actif et la vérification.Un réseau de Petri peut être analysé en calculant et étudiant son Clover, la représentation canonique de la sur-approximation vers le bas de son ensemble d'accessibilité. A l'aide de l'algorithme de Karp-Miller on peut calculer le Clover, mais cet algorithme est très inefficace et sa preuve originelle de correction n'est pas satisfaisante.Il y a de nombreuses variantes de cet algorithme mais certaines sont incomplètes et d'autres requièrent une mémoire additionnelle de taille potentiellement ackermannienne. Enfin les preuves de correction sont souvent intriquées.Notre première contribution est la conception d'un algorithme complet incluant une borne théorique sur la taille de la mémoire additionelle.L'idée clef de cet algorithme est l'introduction d'un nouveau concept, appelé accélération.Plus précisément à l'aide des accélérations, nous avons pu:1. simplifier la preuve de correction de l'algorithme de Karp-Miller;2. présenter la première modification simple de l'algorithme incomplet de construction du ``Minimal Coverability Tree''. 3. prouver que la mémoire supplémentaire requise par notre algorithme est élémentaire (2-EXPSPACE);4. développer un prototype MinCov et de montrer expérimentalement qu'il est l'outil le plus efficace parmi ceux qui calculent le Clover.Au début des années 2000, les réseaux de Petri récursifs (RPN) ont été introduits en vue de la modélisation et de l'analyse de la planification distribuée de systèmes multi-agents pour lesquels la présence de compteurs et la recursivité sont nécessaires.Bien que les RPN étendent strictement les réseaux de Petri et les grammaires algébriques, la plupart des problèmes usuels(accessibilité, terminaison, etc.) restent décidables. Pour presque tous les modèles incluant les réseaux de Petri et les grammaires algébriques, la complexité des problèmes de la couverture et de la terminaison est inconnue ou strictement plus grande que EXPSPACE. Ici, nous montrons que les problèmes de couverture, terminaison, caractère borné et finitude des RPN sont EXPSPACE-complets comme ceux des réseaux de Petri. Bien qu'ayant un grand pouvoir d'expression, les RPN souffrent de plusieurs limitations en terme de modélisation.Aussi nous introduisons les réseaux de Petri récursifs dynamiques (DRPN) qui répondent à ces limitations et donc étendent le pouvoir d'expression des RPN.Les DRPN généralisent presque toutes les extensions de réseaux de Petri pour lesquelles le problème de couverture est décidable.Nous démontrons alors que le problème de couverture reste décidable pour les DRPN.Dans la troisième partie, notre travail se concentre sur l'algorithme L* d'AngluinL.Cet algorithme apprend l'automate fini déterministe (DFA) minimal d'un langage régulier à l'aide de questions d'appartenance et d'équivalence de langages. Sa version probabilistiquement approximativement correcte (PAC) remplace une question d'équivalence par un ensemble de questions aléatoires d'appartenance. Nous avons étudié comment la PAC version se comporte pour des machines qui sont obtenues en ``bruitant''un DFA et si l'algorithme réduit le bruit.Nous établissons que la réduction du bruit dépend fortement de la nature du bruit et de sa quantité.De plus, nous utilisons cet algorithme pour développer une approche de vérification des réseaux neuronaux récurrents (RNN).Un DFA est appris comme une abstraction d'un RNN puis analysé à l'aide de techniques de ``model checking''.Nous établissons deux avantages de cette approche : lorsque la propriété n'est pas vérifiée les contre-exemples exhibés sont de petite taille et susceptibles d'être généralisés en un patron d'erreur mettant en évidence la nature de la faute du RNN.

This thesis consists of three parts. The first one is devoted to the verification of Petri nets, the second one to the verification of recursive Petri nets which extend Petri nets, and the final one aims at combining active learning and verification.A Petri net can be analyzed by computing and studying its Clover, that is the canonical representation of the downward over approximation of its reachability set. Using the Karp-Miller algorithm one can compute the Clover, but this algorithm is very inefficient and moreover, its original proof of correctness is not satisfying. Many variations of the original Karp-Miller algorithm computing the clover exist, but some are incomplete, others introduced an unknown supplementary memory size (possibly Ackermannian) and proofs are often heavy. Our first contribution is the design of a complete algorithm in such a way that we can theoretically bound the additional memory requirements.The key idea of this algorithm is the introduction of a new concept, called acceleration. More precisely using accelerations, we were able: 1. to simplify the proof of correctness of the Karp-Miller algorithm; 2. to present the first simple modification of the original but incomplete Minimal Coverability Tree algorithm; 3. to prove that the supplementary memory needed by our algorithm is elementary (2-EXPSPACE); 4. to implement a prototype MinCov, showing experimentally that it is the most efficient one compared to other tools computing the Clover.In the early two-thousands, Recursive Petri nets (RPN) have been introduced in order to model distributed planning of multi-agent systems for which counters and recursivity were necessary. Although RPN strictly extend Petri nets and context-free grammars, most of the usual problems (reachability, termination, etc.) were shown to be decidable. For almost all other models extending Petri nets and context-free grammars, the complexity of coverability and termination are unknown or strictly larger than EXPSPACE. In contrast, we establish here that for RPN, the coverability, termination, boundedness and finiteness problems are EXPSPACE-complete as for Petri net. While having a great expressive power, RPN suffer several modeling limitations. We introduce Dynamic Recursive Petri nets (DRPN) which address these issues extending the expressiveness of RPN.This model generalizes almost all previous known models, which extend the Petri net and keep the coverability problem decidable. Thus we establish that the coverability problem is decidable for DRPN.For active learning and formal methods, our work focuses on Angluin's L* algorithm.Angluin's algorithm learns the minimal deterministic finite automaton (DFA) of a regular language using membership and equivalence queries. Its probabilistic approximately correct (PAC) version substitutes an equivalence query by a set of random membership queries. Thus, it can be applied to any kind of device and may be viewed as synthesizing an automaton from observations of the device. We are interested in how the PAC version behaves for devices which are obtained from a DFA by introducing some noise. More precisely, we study whether the algorithm reduces the noise, producing a DFA closer to the original one than the noisy device. We found that the reduction of the noise strongly depends on the type of noise and its amount.Moreover, we use this algorithm to develop a property-directed approach for verification of recurrent neural networks (RNNs). It learns a DFA as a surrogate model from a given RNN, which is then analyzed using model checking as a verification technique. We show that this not only allows us to discover small counterexamples fast, but also to generalize them by pumping towards faulty flows, hinting at the underlying error in the RNN.