Cybercriminelen zetten steeds geavanceerdere methoden in om organisaties te manipuleren. Onderzoekers van Barracuda laten zien dat aanvallers niet alleen AI gebruiken om phishingmails te distribueren en overtuigende phishingcampagnes te creëren, maar dat ze ook AI-tools en securitysystemen van organisaties weten te misleiden, corrumperen of saboteren.
E‑mail aanvallen gericht op AI-assistenten
Een van de meest zorgwekkende ontwikkelingen is het vergiftigen (poisoning) van AI-assistenten via e‑mail. Aanvallers sturen schijnbaar onschuldige berichten waarin verborgen opdrachten (prompts) zijn opgenomen. Deze e‑mails vragen geen reactie of interactie van de gebruiker; ze blijven ongemerkt in de inbox staan. Als een medewerker zijn AI-assistent dan bijvoorbeeld vraagt om een taak uit te voeren, scant deze de mailbox voor context en stuit zo op de verborgen opdracht.
Op deze manier kan de AI-assistent ongemerkt gevoelige informatie doorsturen, opdrachten uitvoeren of interne gegevens manipuleren. Recent werd bijvoorbeeld een kwetsbaarheid ontdekt in Microsoft 365 Copilot, waarbij informatie uit het netwerk kon worden opgehaald zonder autorisatie. Dit is inmiddels verholpen, maar het laat zien hoe snel en onzichtbaar AI kan worden misbruikt.
Ook de onderliggende technologie van veel AI-systemen blijkt kwetsbaar. Aanvallers richten zich op systemen die gebruikmaken van Retrieval-Augmented Generation (RAG), waarbij AI modellen externe informatie ophalen om betere antwoorden te geven. Door deze informatiebron te manipuleren, zorgen aanvallers ervoor dat de AI verkeerde of zelfs gevaarlijke beslissingen neemt. Dat kan leiden tot foutieve rapportages, verkeerde prioritering van taken of misleiding van medewerkers.
Manipulatie van AI-gestuurde security
Niet alleen AI-assistenten zijn doelwit. Aanvallers richten zich ook op AI-gestuurde securityfuncties zoals het automatische filteren van spam e‑mail, helpdeskprocessen en workflow-automatisering. Door misbruik te maken van deze systemen kunnen ze bijvoorbeeld een supportticket laten escaleren zonder dat dit gecontroleerd wordt, of workflows activeren die leiden tot het installeren van malware of het verstoren van bedrijfsprocessen.
Ook zijn er steeds meer gevallen waarbij AI-systemen gebruikers proberen te misleiden of verkeerde identiteiten aannemen. In zogenaamde ‘Confused Deputy’-aanvallen wordt een AI-agent met hogere rechten misleid om taken uit te voeren voor een onbevoegde gebruiker (zoals een aanvaller). Ook kunnen bestaande AI-integraties met bijvoorbeeld Microsoft 365 of Gmail worden misbruikt om gegevens te lekken of frauduleuze berichten te verzenden. In sommige gevallen kan één gemanipuleerde e‑mail ertoe leiden dat de AI onjuiste samenvattingen genereert, taken verkeerd toewijst of zelfs verkeerde zakelijke beslissingen ondersteunt.
Dit alles toont aan dat de opkomst van generatieve AI niet alleen kansen biedt, maar ook een nieuw gebied voor cyberaanvallen vormt. Traditionele securitymaatregelen, zoals spamfilters, SPF- of DKIM-authenticatie en IP-blokkades, zijn niet langer voldoende. Organisaties moeten e‑mail niet langer alleen zien als communicatiekanaal, maar als een omgeving waarin AI zelfstandig handelt en dus ook zelfstandig fouten kan maken of gemanipuleerd kan worden.
Zonder aanpassing van het securitybeleid en het creëren van bewustzijn rond deze nieuwe aanvalstechnieken, lopen organisaties het risico dat hun eigen AI-tools tegen hen worden gebruikt.
Lees de uitgebreide blog met meer informatie: https://blog.barracuda.com/2025/07/30/threat-spotlight-attackers-poison-ai-tools-defenses
