De budgetten van CIO’s staan onder druk door de toenemende kosten voor het gebruik van AI. Zelfs menig CFO wordt er inmiddels nerveus van. Uit angst om achterop te raken, hebben veel organisaties hun werknemers aangespoord om waar mogelijk AI te gaan benutten. Met als uitgangspunt: “Ga er snel mee aan de slag, dan zien we wel hoe we de kosten betalen.” Op het eerste gezicht leek deze aanpak te werken, omdat AI transformerende voordelen kan opleveren. De laatste tijd worden de kosten echter een pijnpunt, omdat CIO’s en CFO’s hoge rekeningen ontvangen voor alle benodigde abonnementen en gebruikte digitale tokens.
Wildgroei in AI-gebruik en ‑kosten
Bij veel organisaties groeien zowel het gebruik als de bijbehorende kosten voor AI ongebreideld. Ontwikkelaars, marketeers en andere medewerkers krijgen toegang tot geavanceerde modellen via een gedeelde API-sleutel, waardoor het gebruik bedrijfsbreed toeneemt. Daarna ontvangt de financiële afdeling aan het einde van de maand de factuur en kan niemand verklaren waar al het geld naartoe is gegaan. Heeft het machine learning-team een nieuwe toepassing getraind? Was het een stagiair die Claude Opus gebruikte voor het sorteren van e‑mails? Of een uit de hand gelopen continue integratietaak die in één weekend miljoenen tokens heeft verbruikt? Niemand weet het, want de API-sleutel laat niet zien wie hem heeft gebruikt.
Zonder richtlijnen zullen medewerkers waarschijnlijk het grootste beschikbare AI-model kiezen. Als er namelijk geen budget is afgesproken, geen inzicht en geen routinglogica is, is de meest logische stap om voor alles het krachtigste model te gebruiken. Voor veel taken is echter geen geavanceerd model vereist. Een samenvatting van een codereview heeft niet hetzelfde model nodig als een complexe architectuurrefactoring. Een logparser heeft niet hetzelfde model nodig als een contentgenerator voor klanten. Het zou eenvoudig moeten zijn om de juisteAI-tool voor elke taak te selecteren, in plaats van standaard voor de krachtigste en vaak duurste te kiezen. Bovendien zou het eenvoudig moeten zijn om te zien waar alle bestedingen naartoe gaan.
De ROI van AI-uitgaven is niet te berekenen zonder inzicht in waaraan het geld wordt besteed en het budget is niet te beheersen zonder controlemechanismen. Elk ander onderdeel van een bedrijf heeft een budget en een toewijzing per team, dat hoort voor AI-uitgaven ook zo te zijn.
Cloudflare AI Gateway biedt uitkomst
Cloudflare heeftAI Gateway ontwikkeld als tussenpersoon tussen applicaties en AI-aanbieders. In plaats van OpenAI, Anthropic, Google of een andere aanbieder rechtstreeks aan te roepen, worden alle verzoeken eerst via AI Gateway geleid, met de volgende functionaliteit:
- Uniforme facturering om eenvoudig te wisselen tussen de aanbieders en modellen
- Registratie van alle aanvragen bij alle providers: elk verzoek, het aantal tokens en de kosten op één plek
- Reactiecaching
- Snelheidsbeperking
- Inhoudsbeveiliging en de mogelijkheid om persoonsgegevens en geheimen te blokkeren voordat ze het model bereiken.
AI Gateway bood tot nu toe echter geen eenvoudige manier om te achterhalen wie wat uitgeeft, of hoe limieten zijn in te stellen voor alle AI-uitgaven. Men kon alleen het totale gebruik van de account inzien. Maar bijvoorbeeld niet dat Jane van de technische afdeling $2.000 aan Claude had uitgegeven, terwijl het hele data science-team slechts $400 had gebruikt. Bovendien waren er geen budgetten in te stellen per afdeling, of gebruikers(typen).
Bestedingslimieten voor AI-gebruik
Cloudflare AI Gateway ondersteunt inmiddels bestedingslimieten als kernfunctie. Dit zijn echte beheersingsmaatregelen voor de kosten, in de vorm van budgetten die in dollars zijn ingesteld. Dus niet in gebruikte tokens, terwijl ook de cumulatieve uitgaven voor alle AI-verzoeken worden bijgehouden, onafhankelijk van traditionele snelheidsbeperkingen.
Er zijn beperkingen in te stellen voor elke combinatie van dimensies: model, provider of door de beheerder gedefinieerde aangepaste kenmerken zoals gebruiker, team of applicatie. De periode kan vast zijn (gereset op de eerste van de maand, maandag of middernacht) of dynamisch, en ingesteld worden op dagelijks, wekelijks of maandelijks.
AI Gateway berekent de kosten per aanvraag op basis van de prijs van het model en houdt de cumulatieve uitgaven ten opzichte van de limiet in realtime bij. Bovendien zijn de uitgaven te volgen op het analysedashboard en te filteren naar model, provider of een ander kenmerk. De beheerder heeft meerdere opties voor wat er gebeurt als de budgetlimiet is bereikt. AI Gateway blokkeert standaard verdere verzoeken. Of men kan dynamische routeringsregels instellen om verzoeken naar een alternatief model te sturen als de bestedingslimiet is bereikt, waardoor een strikte bestedingslimiet de workflow van medewerkers niet verstoort. Later wordt ook nog de mogelijkheid toegevoegd om waarschuwingen te versturen als een limiet is bereikt.
Bestedingslimieten zijn al beschikbaar in open bèta voor alle AI Gateway-gebruikers, ongeacht het abonnement. Te configureren in de gateway-instellingen van het dashboard, of via de API. Cloudflare benut dezelfde functionaliteit intern om de tokenkosten van alle medewerkers te beheersen. Iedere medewerker gebruikt dagelijks AI-tools en verwerkt maandelijks miljoenen verzoeken en miljarden tokens via AI Gateway. Wanneer een medewerker zich authenticeert via Cloudflare Access, wordt hun identiteit uit het JSON Web Token (JWT) gehaald en als metadata toegevoegd aan het AI Gateway-verzoek. Hierdoor zijn het tokenverbruik per gebruiker, de verdeling per team en de kostenverdeling binnen de hele organisatie op één plek inzichtelijk.
Budgetten en beleidsregels per identiteit
Als aanvulling op de al besproken bestedingslimieten heeft Cloudflare ook identiteitsgestuurde budgetten en beleidsregels toegevoegd aan de gesloten bètaversie. Met de bestedingslimieten in AI Gateway zijn budgetten in te stellen per model, provider of aangepaste kenmerken. Een applicatie moet deze metadata echter wel doorgeven, en AI Gateway vertrouwt op alles wat het ontvangt. Voor geverifieerde, automatische toewijzing is aanvullend identiteitsdata nodig. In combinatie met Cloudflare Access kan AI Gateway zien wie elk verzoek indient, niet alleen welk account, maar ook welke medewerker, welke identiteitsprovidergroep (IdP), welke service, etc.
Aan CI/CD-pipelines en autonome agents is met Access-servicetokens een unieke identiteit mee te geven. Daardoor is te zien dat een code review-bot deze week 5 miljoen tokens heeft gebruikt, terwijl de documentatiegenerator er 500.000 verbruikt. Als een agent te veel tokens verbruikt, is het beleid aan te passen zonder andere agents te beïnvloeden. Elke logvermelding in AI Gateway bevat de geverifieerde identiteit: e‑mailadres, IdP-groep en naam van het servicetoken. Door deze data naar het analyseplatform te exporteren ontstaat er een kostenoverzicht per gebruiker en per team, zonder dat men zelf iets hoeft te ontwikkelen.
Technisch gezien maakt de beheerder een Cloudflare Access-applicatie aan voor het AI Gateway-eindpunt en configureert deze het beleid op basis van de IdP-groepen. Wanneer een ontwikkelaar of agent een verzoek indient, authenticeren deze zich via OAuth, met behulp van de gebruikelijke CLI-apparaatcodeflow. AI Gateway valideert het token en extraheert de identiteit. Daarvoor is het niet nodig om een aangepaste Worker te schrijven, zelf JWT’s te parsen, of te vertrouwen op metadataheaders op basis van vertrouwen.
Van kostenbeheersing naar ‑optimalisatie
Het opstellen van een budget om de gestaag toenemende AI-kosten te beheersen is noodzakelijk. Echter hoe is het maximale rendement uit een budget te halen als dat is ingesteld? Bij de meeste organisaties is niet voor elke AI-toepassing een geavanceerd model nodig. Een samenvattingstaak kan bijvoorbeeld op een goedkoper model draaien zonder noemenswaardig kwaliteitsverlies, terwijl grootschalige code-refactoring de nieuwste technologie nodig heeft. Zonder controlemechanismen kiezen mensen echter bijna altijd voor het meest geavanceerde model. Om van kostenbeheersing naar ‑optimalisatie te gaan wordt Cloudflare AI Gateway nog uitgebreid met taakgerichte routering. Daarmee is dan elk verzoek te analyseren en automatisch door te sturen naar het model dat het beste resultaat tegen de laagste kosten oplevert.
