Détecter et neutraliser la nouvelle génération de robots de grattage web

Detecting and Mitigating the New Generation of Scraping Bots

• Auteur / Autrice : Elisa Chiapponi
• Direction : Marc Dacier
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 07/11/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Davide Balzarotti
• Jury : Examinateurs / Examinatrices : Leyla Bilge, Olivier Thonnard, Xianghang Mi
• Jury : Rapporteurs / Rapporteuses : Roberto Di Pietro, Benoît Donnet

Mots clés

Mots clés contrôlés

Bots (logiciels)

Proxys (logiciels)

Commerce électronique

Systèmes informatiques -- Mesures de sûreté

Mots clés libres

Sécurité Internet

Grattage Web

Proxies IP résidentielles

Détection des robots web

Neutralisation des robots web

Botnets

Network security

Web Scraping

Residential IP Proxies

Bot Detection

Bot Mitigation

Botnets

Résumé

Chaque jour, une guerre invisible pour les données se déroule entre les sites de commerce électronique et les acteurs qui,en siphonnent les données, sont appelés "scrapers'' . Les sites de commerce électronique détiennent les données au cœur du conflit et souhaitent les fournir uniquement aux utilisateurs légitimes. Les scrapers veulent un accès illimité et continu aux données susmentionnées pour en tirer profit. Pour atteindre cet objectif, les scrapers envoient de grandes quantités de requêtes aux sites de commerce électronique, ce qui leur cause des problèmes financiers. Cela a conduit l'industrie de la sécurité à s'engager dans une course aux armements contre les scrapers afin de créer de meilleurs systèmes pour détecter et contrer leurs activités. À l'heure actuelle, la bataille se poursuit, mais les scrapers semblent avoir le dessus, notamment grâce à leur utilisation de Proxies IP Résidentiels (RESIPs). Dans cette thèse, nous visons à rééquilibrer la balance des forces en introduisant de nouvelles techniques de détection et d'atténuation qui surmontent les limitations des méthodes actuelles. Nous proposons une technique inspirée des "pots de miel'' qui piège les scrapers en leur faisant croire qu'ils ont obtenu les données visées tandis qu'ils reçoivent des informations modifiées. Nous présentons deux nouvelles techniques de détection basées sur des mesures de réseau qui identifient les requêtes émanant de scrapers cachés derrière les infrastructures RESIP. À travers un partenariat en cours avec Amadeus IT Group, nous validons nos résultats en utilisant des données opérationnelles réelles. Conscients que les scrapers ne cesseront pas de chercher de nouvelles façons d'éviter la détection et l'atténuation, nous offrons des contributions qui peuvent aider à élaborer les prochaines armes défensives pour lutter contre les scrapers. Nous proposons une caractérisation complète des RESIPs, la plus puissante arme actuellement à la disposition des scrapers. De plus, nous examinons la possibilité d'acquérir des renseignements sur les menaces liées aux scrapers en les géolocalisant lorsqu'ils envoient des demandes via un RESIP.

Every day an invisible war for data takes place between e-commerce websites and web scrapers. E-commerce websites own the data at the heart of the conflict and would like to provide it only to genuine users. Web scrapers aim to have illimited and continuous access to the above-mentioned data to capitalize on it. To achieve this goal, scrapers send large amounts of requests to e-commerce websites, causing them financial problems. This led the security industry to engage in an arms race against scrapers to create better systems to detect and mitigate their requests. At present, the battle continues, but scrapers appear to have the upper hand, thanks to the usage of Residential IP Proxies (RESIPs). In this thesis, we aim to shift the balance by introducing novel detection and mitigation techniques that overcome the limitations of current state-of-the-art methods. We propose a deceptive mitigation technique that lures scrapers into believing they have obtained their target data while they receive modified information. We present two new detection techniques based on network measurements that identify scraping requests proxied through RESIPs. Thanks to an ongoing collaboration with Amadeus IT Group, we validate our results on real-world operational data. Being aware that scrapers will not stop looking for new ways to avoid detection and mitigation, this thesis provides additional contributions that can help in building the next defensive weapons for fighting scrapers. We propose a comprehensive characterization of RESIPs, the strongest weapon currently at the disposal of scrapers. Moreover, we investigate the possibility of acquiring threat intelligence on the scrapers by geolocating them when they send requests through a RESIP.