Evaluation de la synthèse d'images au travers du prisme de la confidentialité

Evaluation of Deep Image Generation Through the Lens of Privacy and Utility

• Auteur / Autrice : Ryan Webster
• Direction : Julien Rabin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/07/2023
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : établissement co-accrédité : Université de Caen Normandie (1971-....)
• Jury : Président / Présidente : Nicolas Thome
• Jury : Examinateurs / Examinatrices : Vincent Lepetit, Julie Digne, Hervé Jégou, Olivier Lézoray, Frédéric Jurie, Loïc Simon
• Jury : Rapporteurs / Rapporteuses : Vincent Lepetit, Julie Digne

Mots clés

Mots clés contrôlés

Protection de l'information (informatique)

Apprentissage automatique

Réseaux antagonistes génératifs

Intelligence artificielle

Mots clés libres

Génération d'Images

Modèles de Diffusion

Confidentialité en Apprentissage Automatique

Attaques d'Inférence d'Appartenance

Image Generation

Artificial Intelligence

Generative Adversarial Networks

Diffusion Models

Privacy in Machine Learning

Membership Inference Attacks

Résumé

Les générateurs d'images modernes, tels que Stable Diffusion ou Midjourney, sont devenus des systèmes à grande échelle, complexes et généraux. À mesure que l'application et l'utilisation de ces systèmes se généralisent, leurs éventuels problèmes se multiplient. Dans cette thèse, nous étudions comment les modèles génératifs peuvent fuiter des informations sur leurs données d'entraînement et les problèmes que cela pose à la fois aux systèmes et aux utilisateurs. Des systèmes comme Midjourney sont entrainés avec des données collectées sur le web et des contenus protégés peuvent apparaître pendant la génération sans notification d'attribution. Comme les modèles génératifs ont également une application répandue dans le domaine médical, il est impératif pour l'utilité du modèle génératif de ne pas générer de données sous protection stricte de la vie privée. Nous présentons l'évaluation automatique des modèles génératifs, avec un accent sur ces problèmes. Nous présentons d'abord plusieurs mesures statistiques qui peuvent mesurer la qualité des images produites par de tels générateurs profonds, leur diversité et enfin mesurer leur capacité à surapprendre les échantillons d'entraînement. Pour le reste de la thèse, nous étudions le problème de l'inférence d'appartenance. Nous étudions un ensemble divers de facteurs qui conduisent à la vulnérabilité aux attaques d'appartenance. D'un autre côté, nous observons également de nombreuses configurations d'entraînement qui assurent empiriquement la robustesse et la confidentialité. Nous présentons plusieurs nouvelles attaques d'appartenance permettant des améliorations par rapport à l'état de l'art. Enfin, nous présentons une attaque de pointe pour l'extraction de données, capable de reconstruire des images d'entraînement à partir des systèmes de génération les plus largement utilisés.

Modern image generators, such as stable diffusion or Midjourney, have become large scale, complex and general systems. As the wide spread application and use of these systems grow, so do their potential problem areas. In this thesis we investigate how generative models can leak information about their training data and the problems that poses to both the systems and the users. Systems such as Midjourney are trained with data gathered from the web and protected content can appear during generation without attribution. As generative models also have widespread application in the medical domain, it's imperative for the utility of the generative model to not generate data with strict privacy protections. We present the automatic evaluation of generative models, with a focus on these issues. We first present several statistical measures that can measure the image quality of deep generators, the diversity of generated images and finally measure their ability to overfit training samples. For the rest of the thesis, we study the problem of membership inference. We investigate a diverse set of factors that lead to vulnerability to membership attacks. On the other hand, we also observe many training setups which lead to robustness and empirical privacy. We present several new membership attacks that made improvements over the state of the art. Finally, we present a state of the art data extraction attack, capable of reconstructing training images from the most widely used generation systems.