Uit onderzoek van Trend Micro blijkt dat AI-systemen significant verschillende resultaten kunnen genereren, afhankelijk van geografische locatie, taal, modelontwerp en ingebouwde controlemechanismen. Deze inconsistenties kunnen vertrouwen ondermijnen, niet aansluiten bij lokale regelgeving of culturele normen en dus leiden tot kostbare zakelijke gevolgen.
Onderzoekers van Trend Micro hebben bijna 100 AI-modellen getest met meer dan 800 gerichte prompts. Deze prompts zijn ontworpen om vooroordelen, politiek en cultureel bewustzijn, geofencing-gedrag, signalen van gegevenssoevereiniteit en contextuele beperkingen te beoordelen. De onderzoekers voerden experimenten herhaaldelijk uit om te meten hoe de resultaten in de loop van de tijd en op verschillende locaties veranderden. Bij dit onderzoek zijn meer dan 60 miljoen invoertokens en meer dan 500 miljoen uitvoertokens geanalyseerd.
De bevindingen tonen aan dat identieke prompts verschillende antwoorden kunnen opleveren in verschillende regio’s en modellen, en zelfs kunnen variëren bij herhaalde interacties met hetzelfde systeem. In politiek gevoelige scenario’s, zoals rondom betwiste gebieden of nationale identiteit, vertoonden de modellen duidelijke regionale verschillen. In andere tests leverden de modellen inconsistente of verouderde resultaten op in gebieden die juist precisie vereisen, zoals financiële berekeningen en tijdgevoelige informatie.
“Veel organisaties gaan ervan uit dat AI zich gedraagt als traditionele software, waarbij dezelfde input dezelfde output oplevert”, aldus Robert McArdle, Director of Cybersecurity Research bij Trend Micro. “Ons onderzoek toont aan dat deze aanname niet klopt. Lokale taalmodellen kunnen hun antwoorden aanpassen op basis van regio, taal en beveiligingsmaatregelen en per interactie verschillende antwoorden geven. Wanneer AI-outputs direct worden gebruikt in klanttrajecten of zakelijke beslissingen, lopen met name internationale organisaties het risico om de controle over hun merkidentiteit, compliance en culturele afstemming te verliezen.”
Wanneer organisaties AI internationaal inzetten, moeten hun AI-gestuurde diensten binnen verschillende juridische kaders, politieke gevoeligheden en maatschappelijke verwachtingen werken. Daarnaast roepen deze resultaten zorgen op over AI-implementatie in de publieke sector. In deze sector kan door AI gegenereerde output gezien worden als officiële richtlijn. Het gebruik van niet-gelokaliseerde AI-modellen kan dan uitdagingen op het gebied van soevereiniteit en toegankelijkheid met zich meebrengen.
“AI moet niet worden behandeld als een plug-and-play productiviteitstool”, voegt Robert McArdle toe. “Organisaties moeten AI benaderen als een afhankelijkheid met een hoog risico. Er moet sprake zijn van duidelijke governance, gedefinieerde verantwoordelijkheid en menselijke verificatie voor alle output. Dat betekent ook dat er transparantie moet worden geëist van de AI-leverancier over hoe modellen zich gedragen, op welke data ze zijn gebaseerd en welke beveiligingsmechanismen worden toegepast. AI kan absoluut innovatie en efficiëntie stimuleren, maar alleen als het wordt ingezet met een duidelijk begrip van zijn beperkingen en met controles die weerspiegelen hoe deze systemen zich in de praktijk gedragen.”
Download hier het volledige rapport ‘Risks of Unmanaged AI Reliance: Evaluating Regional Biases, Geofencing, Data Sovereignty, and Censorship in LLM Models’
