Modèle de protection contre les codes malveillants dans un environnement distribué

Malicious Codes Detection in Distributed Environments

• Auteur / Autrice : Thanh Dinh Ta
• Direction : Jean-Yves Marion, Guillaume Bonfante
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/05/2015
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Stephan Merz
• Jury : Examinateurs / Examinatrices : Eric Freyssinet
• Jury : Rapporteurs / Rapporteuses : Juan Cabarello, Mourad Debbabi

Mots clés

Mots clés contrôlés

Courriels

Sous-programmes (logiciels)

Virus informatiques

Mots clés libres

Détection des comportements des malwares

Obfuscation des comportements des malwares

Codes malveillants

Extraction du format des messages

Behavioral detection/obfuscation

Malicious codes

Message format extraction

Résumé

La thèse contient deux parties principales: la première partie est consacrée à l’extraction du format des messages, la deuxième partie est consacrée à l’obfuscation des comportements des malwares et la détection. Pour la première partie, nous considérons deux problèmes: "la couverture des codes" et "l’extraction du format des messages". Pour la couverture des codes, nous proposons une nouvelle méthode basée sur le "tainting intelligent" et sur l’exécution inversée. Pour l’extraction du format des messages, nous proposons une nouvelle méthode basée sur la classification de messages en utilisant des traces d’exécution. Pour la deuxième partie, les comportements des codes malveillants sont formalisés par un modèle abstrait pour la communication entre le programme et le système d’exploitation. Dans ce modèle, les comportements du programme sont des appels systèmes. Étant donné les comportements d’un programme bénin, nous montrons de façon constructive qu’il existe plusieurs programmes malveillants ayant également ces comportements. En conséquence, aucun détecteur comportemental n’est capable de détecter ces programmes malveillants

The thesis consists in two principal parts: the first one discusses the message for- mat extraction and the second one discusses the behavioral obfuscation of malwares and the detection. In the first part, we study the problem of “binary code coverage” and “input message format extraction”. For the first problem, we propose a new technique based on “smart” dynamic tainting analysis and reverse execution. For the second one, we propose a new method using an idea of classifying input message values by the corresponding execution traces received by executing the program with these input values. In the second part, we propose an abstract model for system calls interactions between malwares and the operating system at a host. We show that, in many cases, the behaviors of a malicious program can imitate ones of a benign program, and in these cases a behavioral detector cannot distinguish between the two programs