Websites worden geconfronteerd met een constante stroom aan scraping-verzoeken door generatieve AI (gen AI) -bots. Onderzoekers van Barracuda hebben ontdekt dat sommige applicaties tot wel een half miljoen verzoeken per dag ontvangen. In een nieuw rapport over botactiviteit merken deze onderzoekers op dat zogeheten ‘gray bots’ — geautomatiseerde programma’s die niet per se schadelijk zijn — dag en nacht waardevolle data van websites verzamelen.
Tussen december 2024 en eind februari 2025 registreerde Barracuda miljoenen scraping-verzoeken van generatieve AI-bots zoals ClaudeBot en TikToks Bytespider, gericht op webapplicaties. Een van de applicaties die werd gemonitord kreeg in slechts 30 dagen 9,7 miljoen van dit soort verzoeken te verwerken. Een andere werd op één dag 500.000 keer benaderd. Uit verdere analyse bleek dat één applicatie continu werd bestookt, met gemiddeld 17.000 gray bot-verzoeken per uur – dag en nacht.
“Grey bots vervagen de grenzen van legitieme activiteiten”, zegt Rahul Gupta, Senior Principal Software Engineer, Application Security Engineering bij Barracuda. “Ze verzamelen gevoelige, bedrijfseigen of commerciële informatie, wat webapplicaties kan overbelasten en verstoren. Het voortdurende scrapen door deze bots zet de prestaties van webapplicaties onder druk en beïnvloedt de betrouwbaarheid van webanalyses, wat leidt tot vertekende inzichten en ondermijning van de kwaliteit van besluitvorming. Voor veel organisaties is het effectief beheren van gray bot-verkeer inmiddels een cruciaal onderdeel van hun applicatiebeveiligingsstrategie.”
Website-eigenaren kunnen proberen scraping tegen te gaan met een robots.txt-bestand, dat bots via een simpele instructie vraagt om geen data te verzamelen. Maar de bot moet expliciet worden genoemd en omdat opvolgen van de instructies in een robots.txt bestand niet wettelijk is af te dwingen, trekken veel gen AI-botbeheerders zich er weinig van aan. Om effectief weerstand te bieden aan de groeiende verzoeken van gray bots, zouden organisaties geavanceerde bot protection-oplossingen moeten gebruiken. Deze systemen kunnen scraper-gedrag detecteren en blokkeren op basis van gedragsanalyse, adaptieve machine learning, gedetailleerde device fingerprinting en real-time bescherming.
