Log analysis for malicious software detection

par Routa Moussaileb

Thèse de doctorat en Informatique

Sous la direction de Yann Busnel et de Jean-Louis Lanet.

Soutenue le 08-10-2020

à l'Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire , dans le cadre de École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) , en partenariat avec Lab-STICC_IMTA_CID_IRIS (laboratoire) , Département Systèmes Réseaux, Cybersécurité et Droit du numérique (laboratoire) et de Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance (laboratoire) .

Le président du jury était Pascal Urien.

Le jury était composé de Yann Busnel, Jean-Louis Lanet, Jean-Yves Marion, Maroun Chamoun, Nora Cuppens, José M. Fernandez, Hélène Le Bouder.

Les rapporteurs étaient Jean-Yves Marion.

mots clés

• Rançongiciel
• Logs système et réseaux
• Détection
• Doxware
• Rançon
• Cyberdéfense
• Systèmes de détection d'intrusion (informatique)

Titre traduit

Analyse des logs pour les besoins de détection de logiciels malveillants

Résumé

Les rançongiciels demeurent la menace informatique principale pour les particuliers, les entreprises et les gouvernements. Les conséquences de ces attaques peuvent causer des pertes irréversibles si les exigences des attaquants ne sont pas satisfaites à temps. Cette thèse cible les rançongiciels Windows. Ils affectent les données des utilisateurs sauvegardées sur les ordinateurs ainsi que de nombreux services publics. Quatre étapes de l’attaque des rançongiciels sont définies : infection, déploiement, destruction et transaction. Les contre-mesures sont regroupées selon les techniques utilisées et attribuées à chaque phase de l'attaque. Cette thèse présente trois contributions. Le premier mécanisme de détection est situé dans la couche du système de fichiers. Il est basé sur la traversée du système qui permet d’exposer les comportements malveillants. Cette thèse propose également une analyse du trafic réseau. Les échantillons sont collectés pour une détection au niveau des paquets. Une étude des notes de rançon est faite pour situer la contre-mesure réseau dans l'étape appropriée de l’intrusion. La dernière contribution donne un aperçu des attaques, particulièrement des Doxware. Un modèle de quantification qui explore le système de fichiers Windows à la recherche de données importantes est présenté et complémenté par les pots de miels pour protéger les fichiers sensibles. Enfin, cette thèse offre des perspectives permettant d'établir un meilleur plan d’action pour les chercheurs.

mots clés

• Ransomware
• System and network logs
• Detection
• Doxware

Résumé

Ransomware remains the number one cyberthreat for individuals, enterprises, and governments. Malware’s aftermath can cause irreversible casualties if the requirements of the attackers are not met in time. This thesis targets Windows ransomware. It affects users’ data and undermines many public services. Four stages of this malware attack are defined: delivery, deployment, destruction, and dealing. The corresponding countermeasures are assigned to each phase of the attack and clustered according to the techniques used. This thesis presents three contributions. The first detection mechanism is located in the file system layer. It is based on the system traversal that is sufficient to highlight the malicious behavior. This thesis proposes also an analysis of the network traffic. It is generated by collected ransomware samples to perform a packet-level detection. A study of the ransom notes is made to define where it takes place in a ransomware workflow. The last contribution provides an insight into plausible attacks, especially Doxware. A quantification model that explores the Windows file system in search of valuable data is presented. It is based on the term frequency-inverse document frequency solution provided in the literature for information retrieval. Honeypot techniques are also used to protect the sensitive files of the users. Finally, this thesis provides future perspectives granting a better roadmap for researchers.