Met het voortdurend toenemende gebruik van AI-toepassingen neemt de belasting van veel bedrijfsnetwerken ook aanzienlijk toe. Hoe kunnen we dit beter schalen? Hoe houden we grip op de kosten van het gebruik van externe AI model providers? En als we model providers gaan integreren in enterprise-applicaties hoe optimaliseren we dan de beschikbaarheid van deze models? Ook gaan we zien dat er steeds meer trainingsdata voor AI-applicaties tussen cloud-omgevingen uitgewisseld moet gaan worden. Cloudflare denkt deze problemen te kunnen oplossen met een nieuwe AI Gateway, waarvan onlangs een bètaversie is uitgebracht, vertelt Cloudflare’s Field Technology Officer, John Engates.
Cloudflare biedt een zogeheten ‘connectivity cloud’ aan voor het optimaliseren van dataverkeer tussen meerdere cloud-omgevingen. Connectivity clouds zijn oplossingen die zorgen voor uitstekende data-uitwisseling tussen cloud-omgevingen. Het is een relatief nieuwe categorie die in toenemende mate cruciaal is voor het succes van multicloud-omgevingen. Voor zijn connectiviteitscloud heeft Cloudflare een wereldwijd netwerk van datacenters gecreëerd, met in veel belangrijke economische steden en regio’s zelfs meerdere faciliteiten.
Data uitwisselen tussen clouds
Met deze connectiviteitscloud biedt Cloudflare een interessante aanpak voor bedrijven die dreigen vast te lopen in een multicloud-omgeving en die steeds meer problemen ervaren met het uitwisselen van data of functionaliteit tussen al die applicaties in de cloud. Vrijwel elke grotere organisatie heeft al te maken met een IT-omgeving waarin meerdere clouds een rol spelen. Tot nu toe was de aandacht echter vooral gericht op de vraag hoe gebruikers toegang kunnen krijgen tot individuele cloud-omgevingen. En niet zozeer op de vraag hoe we data afkomstig uit cloud A en data uit cloud B voor bijvoorbeeld analyse bij elkaar kunnen brengen in cloud C, om het resultaat vervolgens in cloud D toe te passen in een business-proces. Met andere woorden: data-uitwisseling tussen tal van cloud-omgevngen. Deze problemen worden alleen maar groter nu steeds meer datacenters en IT-afdelingen te maken krijgen met AI-applicaties die hun trainingsdata uit meerdere cloud-omgevingen halen.
John Engates, Field Chief Technology Officer bij Cloudflare: “Zodra binnen de organisatie het idee ontstaat om data of functionaliteiten die beschikbaar zijn in de ene cloud-omgeving ook in een andere cloud te gaan gebruiken, wordt het belang van connectiviteit tussen verschillende cloud-applicaties ineens volstrekt duidelijk. Dan blijkt al gauw dat er veel minder goed is nagedacht over de vraag hoe data van de ene cloud-omgeving naar de andere moet worden gebracht. Zeker als we over AI-applicaties praten, is dat een belangrijk punt. Veel van de data zal immers uit tal van cloud-based applicaties afkomstig zijn of daar verder worden gebruikt.“
Connectivity cloud
In dit denken over connectiviteit en de cloud begint inmiddels verandering te komen. Dat is ook vanuit het oogpunt van kosten belangrijk. Veel IT-afdelingen geven namelijk nu al 20-30% van hun budget uit aan telecom. Met de komst van AI en zijn enorme hoeveelheden data zal dit percentage alleen nog maar verder stijgen. Een veelal zelf samengesteld MPLS-netwerk is in belangrijke mate verantwoordelijk voor deze uitgaven. Volledig uitbesteden is vaak een veel betere keuze, ware het niet dat telco’s – veelal de klassieke telecom-partners van enterprise IT-afdelingen – lang niet altijd in staat zijn om de meest optimale financiële en technische prestaties te leveren. Dat kan te maken hebben met samenwerkingen die men al of niet met andere telco’s heeft, terwijl soms ook financiële argumenten een rol spelen bij de routering van data die men voorstelt.
Cloudflare heeft dit gat opgevuld door als het ware een netwerk tussen cloud-omgevingen te creëren. In eerste instantie gebeurde dit als een soort Content Delivery Network waar security in de vorm van Web Application Firewalls (WAF) in was opgenomen. Inmiddels is ook Zero Trust volledig in dit netwerk geïntegreerd en heeft men compute en storage op al deze edge-locaties beschikbaar.
Makkelijk connecteren
Het vervangen van een eigen MPLS-netwerk wordt door veel IT-afdelingen echter als een riskante migratie gezien. Daarom beginnen veel organisaties met het vervangen van kleinere delen van hun netwerk, vaak in combinatie met nieuwe cloud-based applicaties. Op deze manier kunnen organisaties stapsgewijs ervaring opdoen met Cloudflare als backbone-netwerk tussen cloud-based applicaties, zonder alles in één keer te moeten vervangen. De risico’s die vaak worden geassocieerd met dergelijke grote veranderingen kunnen hierdoor worden geminimaliseerd.
“Juist om dit soort stapsgewijze migraties zo eenvoudig mogelijk te maken, hebben we onlangs onze Magic WAN Connector geïntroduceerd”, vertelt Engates. Na het aansluiten van de hardware van deze connector wordt het netwerkverkeer automatisch gerouteerd naar de dichtstbijzijnde Cloudflare-locatie. Voorheen was hier een Cloudflare Network Interconnect (CNI) voor nodig, die eerst geconfigureerd moest worden. De komst van de nieuwe connector betekent dat deze configuratie nu volledig is geautomatiseerd. Het betekent ook dat het verkeer dat via een Magic WAN Connector loopt dus ook door Cloudflare’s Web Application Firewalls (WAF) en Zero Trust-beveiligingscontroles gaat, voordat het wordt doorgestuurd naar zijn bestemming. Hierbij maakt het niet uit of dit een andere locatie is op het private netwerk, een extern gehoste SaaS-applicatie, of bijvoorbeeld een externe large language model (LLM) provider.
De rol van de AI Gateway
Hiermee kan een datacenter of enterprise IT-afdeling veel meer grip krijgen op de prestaties en de beveiliging van het netwerk dat men gebruikt voor het bereiken van cloud-applicaties en om data van de ene cloud naar de andere te brengen. Met de opkomst van AI-toepassingen komt daar echter een nieuwe uitdaging bij: hoe gaan we AI-models in deze netwerkomgeving opnemen? En hoe gaan we intern ontwikkelde AI-applicaties op een betrouwbare manier laten samenwerken met deze model providers? Hoe gaan we om met de data die daarbij nodig is?
Engates: “Hiervoor heeft Cloudflare nu een bètaversie van zijn AI Gateway geïntroduceerd. Deze AI Gateway bevindt zich tussen de AI-applicatie en de AI-API’s waarnaar de toepassing calls doet. Op die manier kan Cloudflare reacties cachen, verzoeken beperken of juist opnieuw proberen. Ook zijn hiermee analyses mogelijk om te helpen het gebruik van AI-modellen te monitoren en te administreren. De AI Gateway regelt de dingen die bijna alle AI-toepassingen nodig hebben. Dit scheelt het interne team veel engineering-tijd.”
Developers behoeven in principe slechts één regel in hun code aan te passen om aan de slag te gaan met Cloudflare’s AI Gateway en dat is de URL in de API calls vervangen door die van de AI Gateway die zij gebruiken. Alle tokens blijven gewoon in hun eigen code-omgeving en blijven dus veilig. Verder logt de gateway iedere call voordat deze wordt doorgelaten naar de uiteindelijke API.
“We ondersteunen momenteel model-providers als OpenAI, Hugging Face en Replicate”, vertelt Engates. “In de toekomst zal dit verder worden uitgebreid. Ook is ondersteuning beschikbaar voor alle verschillende endpoints binnen deze providers en is in respons streaming voorzien. Het speciale endpoint voor deze providers stelt developers in staat hun applicaties aan te sluiten op de AI Gateway, zonder dat de oorspronkelijke payload-structuur aangepast behoeft te worden.”
Analyses en inzichten
Er is ook voorzien een zogeheten ‘universal endpoint’ dat kan worden gebruikt als meer flexibiliteit gewenst is met calls. Met dit universele endpoint is het bijvoorbeeld mogelijk om fallback-modellen te definiëren en pogingen tot calls opnieuw te doen als deze om wat voor reden dan ook mislukken. “Stel dat er een call is gedaan naar OpenAI GPT-3, maar de API bleek down. In zo’n geval kan in het universele endpoint bijvoorbeeld worden gedefinieerd dat als fallback een call naar Hugging Face GPT-2 moeten worden gedaan. De gateway zal de call dan automatisch opnieuw verzenden naar Hugging Face. Dit is handig om de resilience van een applicatie te verbeteren in gevallen waarin ongewone fouten optreden of tegen snelheidslimieten wordt aangelopen. Denk echter ook aan situaties waarin één account financieel kostbaar wordt en het team liever wil diversifiëren naar andere modellen. Met het universele endpoint is het alleen nodig om de payload aan te passen om de provider en het endpoint te specificeren, zodat calls correct kunnen worden gerouteerd.”
“Is een AI-applicatie eenmaal verbonden met Cloudflare, dan kunnen we helpen met analyses en het verzamelen van inzichten”, licht Engates toe. “Ook kunnen we controle bieden over het verkeer dat door de AI-applicaties gaat. Ongeacht welk model of welke infrastructuur aan de achterkant wordt gebruikt, kunnen we helpen met het loggen van calls en het analyseren van gegevens zoals het aantal calls, het aantal gebruikers, de kosten van het draaien van de applicaties, de duur van calls en dergelijke.”
“Hoewel dit basisanalyses lijken die model providers zouden moeten bieden, is het verrassend moeilijk om zicht te krijgen op deze statistieken”, vertelt Engates tenslotte. “De AI Gateway gaat bovendien nog een stap verder. We maken het ook mogelijk analyses te aggregeren over meerdere providers heen.”
