Méthodes d'initialisation des réseaux de neurones convolutifs pour la détection des manipulations d'images

Initialization methods of convolutional neural networks for detection of image manipulations

• Auteur / Autrice : Ivan Castillo camacho
• Direction : Kai Wang
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, paroles, télécoms
• Date : Soutenance le 06/05/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique
• Jury : Président / Présidente : Alice Caplier
• Jury : Examinateurs / Examinatrices : William Puech, Patrick Bas
• Jury : Rapporteurs / Rapporteuses : Francisco J. Garcia Ugalde, William Puech

Mots clés

Mots clés contrôlés

Criminalistique

Apprentissage profond

Réseaux neuronaux (physiologie)

Traitement d'images -- Techniques numériques

Mots clés libres

Réseau de neurones convolutif

Apprentissage profond

Criminalistique des images

Détection de manipulation des images

Stabilité de la variance

Initialisation de filtre convolutif

Convolutional neural network

Deep learning

Image forensics

Image manipulation detection

Stability of variance

Initialization of convolutional filter

Résumé

Les fausses images et vidéos apparaissent régulièrement dans les médias de communication de masse. Ce n'est pas quelque chose de récent, des manipulations et des falsifications ont eu lieu depuis l'avènement de la photographie elle-même. Ces altérations peuvent aller de retouches innocentes à la diffusion d'informations trompeuses ou même à l'utilisation de faux contenus dans des instances judiciaires. En conséquence, la création de méthodes qui peuvent nous aider à assurer l'authenticité d'une image présentée comme non modifiée est d'une importance capitale. Dans cette thèse, nous visons à détecter les opérations de manipulation d'images en utilisant des techniques d'apprentissage profond. Nous présentons trois méthodes montrant la progression de notre travail sous un objectif commun, c'est-à-dire la conception et le test de méthodes d'initialisation de réseaux de neurones convolutifs (CNNs) pour les problèmes de la criminalistique d'images avec un focus sur la stabilité de la variance pour la sortie d'une couche CNN.Tout d'abord, nous effectuons une étude bibliographique approfondie de l'état de l'art des méthodes basées sur l'apprentissage profond pour l'analyse criminalistique des images. Cette étude nous permet de confirmer que la première couche d'un CNN a un impact important sur les performances finales. Plus précisément, l'initialisation utilisée sur les filtres de la première couche joue un rôle important qui devrait être conforme à la tâche de la criminalistique d'image en cours.Comme la première tentative, nous proposons une méthode d'initialisation de faible complexité pour les CNNs. En profitant des méthodes précédentes conçues pour le domaine de la vision par ordinateur, nous étendons la méthode populaire de Xavier pour concevoir un filtre qui assurerait la stabilité de la variance après une opération de convolution. Cette méthode génère un ensemble de filtres passe-haut aléatoires pour l'initialisation de la première couche d'un CNN. Ces filtres nous permettent de mieux identifier les traces criminalistiques qui se situent généralement vers la partie haute fréquence de l'image.Cette première approche constitue un bon point de départ pour notre travail. Cependant, une hypothèse erronée, largement utilisée dans la communauté de la recherche, a été faite. Celle-ci est corrigée dans notre deuxième méthode où nous suivons une approche différente et dépendante des données, et prenons en considération les propriétés statistiques réelles des images naturelles. En conséquence, nous proposons une méthode de mise à l'échelle pour les filtres de première couche qui peut bien s'adapter aux différents algorithmes d'initialisation de CNN. L'objectif reste de maintenir la stabilité de la variance du flux de données dans un CNN. Nous présentons également des études théoriques et expérimentales sur la variance de sortie pour un filtre convolutif, qui sont à la base de notre méthode de mise à l'échelle de filtre proposée.Ensuite, nous décrivons une version révisée de notre première proposition, maintenant avec une hypothèse corrigée sur les statistiques des images naturelles. Plus précisément, nous proposons une méthode d'initialisation améliorée de filtres passe-haut aléatoires qui ne calcule pas explicitement les statistiques des données d'entrée. Nous pensons qu'une telle approche «indépendante des données» est plus souple et a un champ d'application plus large que notre deuxième méthode dans les situations où le calcul fiable des statistiques d'entrée n'est pas possible.Les méthodes que nous proposons sont testées sur plusieurs problèmes criminalistiques d'images et sur différentes architectures CNN.Finalement, durant ce travail de thèse, nous avons participé à un concours de détection de fausses images organisé par l'Agence Nationale de la Recherche et la Direction Générale de l'Armement. Nous expliquons en annexe les objectifs du concours ainsi qu'une brève description de nos travaux réalisés pour le concours.

Fake images and videos have engulfed mass communication media. This is not something recent, manipulations and forgeries have occurred since the advent of photography itself. These alterations can go from innocent retouches in an attempt to make an image visually attractive to the spread of misleading information or even the use of false media in legal instances. Accordingly, the creation of methods that can help us assure the authenticity of an image presented as non-modified is of paramount importance. In this thesis, we aim at detecting image manipulation operations using deep learning techniques. We present three methods showing the progression of our work under one common objective, i.e, the design and test of Convolutional Neural Network (CNN) initialization methods for image forensic problems with a variance stability focus for the output of a CNN layer.First, we carry out an extensive review of the state of the art in deep-learning-based methods for image forensics. From this review we can confirm that the first layer of a CNN has big impact on the final performance. Specifically, the initialization used on the first-layer filters plays an important role that should be in line with the image forensic task in hand.As our first attempt to address this research problem, we propose a low-complexity initialization method for CNNs. Taking advantage of previous methods designed for the computer vision field, we extend the popular Xavier method to design a filter that would provide variance stability after a convolution operation. This method generates a set of random high-pass filters for the initialization of a CNN's first layer. These filters allow us to better identify forensic traces which usually lie towards the high-frequency part of the image.This first approach constitutes a good staring point of our work. However, a wrong assumption, largely utilized in the research community, was made. This is corrected in our second method where we follow a different data-dependent approach and take into consideration the real statistical properties of natural images. Accordingly, we propose a scaling method for first-layer filters which can cope well with different CNN initialization algorithms. The objective remains in keeping the stability of the variance of data flow in a CNN. We also present theoretical and experimental studies on the output variance for convolutional filter, which are the basis of our proposed data-dependent scaling.Next we describe a revisited version of our first proposal now with a corrected assumption on the statistics of natural images. More precisely, we propose an improved random high-pass initialization method which does not explicitly compute the statistics of input data. We believe that such a ``data-independent'' approach has higher flexibility and broader application range than our second method in situations where the computation of input statistics is not possible.Our proposed methods are tested over several image forensic problems and different CNN architectures.Finally, during all this thesis work we took part in a challenge competition of image forgery detection organized by the French National Research Agency and the French Directorate General of Armaments. We explain in the Appendix the objectives of the challenge along with a brief description of our work conducted for the competition.