Vérification des systèmes IA : sécuriser l'intelligence artificielle

par Ritam Raha

Projet de thèse en Informatique

Sous la direction de Nathanaël Fijalkow, Jérôme Leroux et de Guillermo Alberto Perez mejia.

Thèses en préparation à Bordeaux en cotutelle avec l'University of Antwerp , dans le cadre de École doctorale de mathématiques et informatique , en partenariat avec LaBRI - Laboratoire Bordelais de Recherche en Informatique (laboratoire) et de Méthodes Formelles (equipe de recherche) depuis le 05-06-2020 .


  • Résumé

    La recherche que nous proposons ici se situe à l'intersection de deux domaines de l'informatique: la vérification formelle et l'intelligence artificielle. La vérification formelle se concentre sur des modèles mathématiques pour prouver ou réfuter la correction de systèmes informatiques par rapport à des spécifications formelles. Le domaine de l'intelligence artificielle s'intéresse à l'étude des agents qui interagissent avec leur environnement et entre eux de manière autonome afin d'atteindre leurs objectifs indépendants. Récemment, il y a eu un boom du nombre de techniques efficaces en intelligence artificielle appliquées à des problèmes qui sont (théoriquement) difficiles, voire indécidables. Malheureusement, ces techniques ne sont généralement pas accompagnées de garanties formelles. Cela soulève la question suivante: pouvons-nous tirer parti des techniques de vérification formelle pour compléter les algorithmes d'intelligence artificielle avec des garanties raisonnables? Nous proposons de répondre à cette question dans quatre contextes concrets. • Premièrement, nous étudierons l'expressivité des différents modèles d'apprentissage automatique ainsi que les problèmes de type vérification pour affirmer les propriétés (robustesse) qu'ils garantissent. • Deuxièmement, nous étudierons les grammaires libres pondérées et tenterons de leur étendre les algorithmes classiques d'apprentissage automatique. • Troisièmement, nous étudierons la programmation assistée par machine. Plus précisément, nous étudierons des problèmes de synthèse de programmes dans lesquels des informations secondaires codées dans un réseau neuronal sont données. Ce réseau de neurones peut être considéré comme un oracle fournissant des «conseils d'experts» à l'algorithme de synthèse. • Enfin, nous nous concentrerons sur le développement d'algorithmes d'apprentissage par renforcement avec des garanties de correction formelles ainsi que les hypothèses sous lesquelles ces garanties sont valables.

  • Titre traduit

    Verification of AI-enabled systems : making artificial intelligence safe


  • Résumé

    The research we propose here takes place at the intersection of two fields of computer science: formal verification and artificial intelligence. Formal verifica- tion focuses on mathematical models for proving or disproving the correctness of computer systems with respect to formally described specifications. The field of artificial intelligence interests itself with the study of agents that interact with their environment and each other in an autonomous way in order to meet their independent objectives. Recently, there has been a boom in the number of efficient artificial intel- ligence techniques applied to problems which are (theoretically) hard or even undecidable. Unfortunately, though, such techniques usually do not come with formal guarantees. This raises the following question: Can we leverage tech- niques from formal verification to complement artificial intelligence algorithms with reasonable guarantees? We propose to answer this question in four concrete contexts. • First, we will study the expressiveness of different machine-learned models as well as verification-like problems to assert (robustness) properties that they guarantee. • Second, we will study weighted free grammars and attempt extend the classical automata-learning algorithms to them. • Third, we will study machine-learning aided programming. More precisely, we will study program synthesis problems in which side information en- coded into a neural network is given. This neural network can be seen as an oracle providing “expert advice” to the synthesis algorithm. • Finally, we will focus on developing reinforcement learning algorithms with formal correctness guarantees as well as the assumptions under which these guarantees are valid.