Cloudflare introduceert platform voor implementatie van snelle, veilige en compliant AI-inferenties

27 september 2023

Cloud­flare maakt bekend dat ontwik­ke­laars complete AI-appli­ca­ties kunnen bouwen op haar wereld­wijde netwerk. Het ontwik­ke­laars­plat­form van Cloud­flare biedt ontwik­ke­laars de moge­lijk­heid om op een snelle en betaal­bare wijze volledige AI-appli­ca­ties te bouwen, zonder de daarvoor benodigde infra­struc­tuur te hoeven beheren. Alle bedrijven, van startups tot grote onder­ne­mingen, proberen momenteel het dien­sten­aanbod aan te vullen met kunst­ma­tige intel­li­gentie. Daarom biedt het platform van Cloud­flare ontwik­ke­laars nu de capa­ci­teit om snel een direct bruikbare toepas­sing te lanceren met inge­bouwde bevei­li­ging, compli­ance en snelheid. 

Snel meerwaarde leveren

Busi­ness­ma­na­gers, van grote bedrijven die hun dien­sten­aanbod willen uitbreiden met AI, tot AI-startups met een missie om de volgende generatie appli­ca­ties te bouwen, willen op grote schaal AI-toepas­singen kunnen leveren. Orga­ni­sa­ties proberen momenteel snel te handelen om meer­waarde te reali­seren. Ze worden echter gecon­fron­teerd met uitda­gingen, zoals snel oplopende en ondoor­zich­tige kosten om AI toe te passen en ervoor te zorgen dat infor­matie van klanten privé blijft en voldoet aan de regel­ge­ving. Ontwik­ke­laars worden gecon­fron­teerd met veel nieuwe leve­ran­ciers, waardoor ze nieuwe tools snel moeten begrijpen en veel complexe, onge­lijk­soor­tige appli­ca­ties met elkaar moeten verbinden. C‑level managers zijn op zoek naar kostenop­ti­ma­li­satie, te midden van dure tech­no­logie, tools en personeel. 

AI-inferentie dichtbij gebruikers

“Cloud­flare heeft alle benodigde infra­struc­tuur voor ontwik­ke­laars die schaal­bare AI-toepas­singen willen bouwen en kan daarmee dicht bij de gebrui­kers AI-infe­rentie aanbieden. Wij blijven inves­teren, zodat we elke ontwik­ke­laar krachtige, betaal­bare tools kunnen bieden voor het bouwen van de toekomst”, zegt Matthew Prince, CEO en mede­op­richter van Cloud­flare. “Workers AI biedt ontwik­ke­laars alle benodigde moge­lijk­heden om in enkele dagen op een effi­ci­ënte en betaal­bare wijze, kant en klare AI-erva­ringen te bouwen, in plaats van de weken of zelfs maanden die het nu vaak kost voor een volledig team.”

“Orga­ni­sa­ties kiezen vaker voor kunst­ma­tige intel­li­gentie bij het maxi­ma­li­seren van hun opera­ti­o­nele effi­ci­ëntie”, zei Stephen O’Grady, Principal Analyst bij RedMonk. “Maar het is cruciaal om ontwik­ke­laars een hoog­waar­dige ervaring voor hun AI-gebruik te bieden, met abstrac­ties voor het vereen­vou­digen van de inter­faces en controles voor de kosten­be­heer­sing. Dat is exact waarvoor Cloud­flare het Workers-platform heeft geoptimaliseerd.”

Workers AI: de eerste serverloze en schaalbare AI

Workers AI biedt ontwik­ke­laars een eenvou­dige en betaal­bare manier voor het draaien van AI-modellen op Cloudflare’s wereld­wijde netwerk. Cloud­flare biedt nu, mede via samen­wer­kings­ver­banden, toegang tot GPU’s die draaien op haar gigan­ti­sche wereld­wijde netwerk. Dit maakt het mogelijk om AI-infe­rentie dicht bij gebrui­kers uit te voeren, zodat zij minder lang hoeven te wachten. Als dat wordt gecom­bi­neerd met de Data Loca­li­za­tion Suite voor het contro­leren van de locaties waar data wordt geïn­spec­teerd, kan Workers AI klanten ook helpen bij het anti­ci­peren op mogelijke compli­ancy eisen, als overheden beleid voor het AI-gebruik gaan invoeren. Privacy staat altijd voorop bij de aanpak van Cloud­flare voor het ontwik­kelen van appli­ca­ties. Dit kan orga­ni­sa­ties helpen bij het houden van hun beloftes aan klanten om te waar­borgen dat data voor infe­rentie niet wordt gebruikt voor het trainen van LLM’s. Cloud­flare onder­steunt nu een model­ca­ta­logus waarmee ontwik­ke­laars snel aan de slag kunnen, voor toepas­singen als LLM, spraak-naar-tekst, afbeel­ding­clas­si­fi­catie, senti­ment­ana­lyse en meer.

Vectorize: een vectordatabase die AI-werkstromen versnelt

De nieuwe vector­da­ta­base van Cloud­flare, Vectorize, biedt ontwik­ke­laars moge­lijk­heden om complete AI-toepas­singen op Cloudflare’s platform te bouwen. Vanaf het genereren van inbed­dingen voor de inge­bouwde modellen in Workers AI en het indexeren hiervan in Vectorize, tot queries en het opslaan van de brondata in R2. Workers AI en Vectorize zorgen ervoor dat ontwik­ke­laars zich niet meer bezig hoeven te houden met het aan elkaar plakken van verschil­lende onder­delen om AI en ML te kunnen toevoegen aan hun apps. Dit gebeurt allemaal op hetzelfde platform.

Vectorize profi­teert ook van het wereld­wijde netwerk van Cloud­flare, zodat vector­ver­zoeken dichter bij gebrui­kers plaats­vinden, waardoor de latentie en de algehele infe­ren­tie­tijd lager worden. Het is ook geïn­te­greerd in het AI-ecosys­teem in bredere zin, zodat ontwik­ke­laars inbed­dingen aange­maakt met OpenAI en Cohere kunnen opslaan. Dit biedt teams de moge­lijk­heid om bestaande inbed­dingen te gebruiken en nog steeds te profi­teren van Vectorize voor het schalen van AI-apps naar de productie.

AI Gateway: observeerbaarheid en schaalbaarheid voor AI

Cloud­flare intro­du­ceert ook nog AI Gateway, voor betrouw­baar­dere, obser­veer­bare en schaal­bare AI-appli­ca­ties. Uit de laatste voor­spel­lingen van IDC blijkt dat de uitgaven aan AI dit jaar waar­schijn­lijk groeien tot $ 154 miljard en in 2026 tot zo’n $ 300 miljard. Ontwik­ke­laars en C‑level managers weten echter amper hoeveel geld er wordt besteed aan de AI-infra­struc­tuur, of hoeveel queries er vanaf waar worden uitgevoerd. 

Ontwik­ke­laars moeten zich volledig kunnen focussen op hetgeen ze proberen te bouwen en niet op de infra­struc­tuur, kosten, obser­veer­baar­heid of schaal­baar­heid die daarbij horen. Daarom biedt AI Gateway ontwik­ke­laars de benodigde func­ti­o­na­li­teit voor het verkrijgen van inzichten in al het AI-verkeer, zoals het aantal aanvragen, het aantal gebrui­kers, de gebruiks­kosten van de app en tijdsduur van verzoeken. 

Tenslotte kunnen gebrui­kers de kosten beheersen met caching en snel­heids­be­per­king. Caching biedt klanten de moge­lijk­heid om antwoorden te cachen voor herhaalde vragen, zodat er niet telkens meerdere aanvragen naar dure API’s hoeven te worden gestuurd. Snel­heids­be­per­king helpt bij het tegen­houden van kwaad­aar­dige partijen en zwaar verkeer voor het managen van de groei en kosten, waardoor gebrui­kers meer controle krijgen over de wijze waarop ze hun appli­ca­ties schalen.

Pin It on Pinterest

Share This