Cloudflare maakt hyperlokale AI-inferentie mogelijk met NVIDIA Accelerated Computing

Cloud­flare, leve­ran­cier van connec­ti­vi­teits­clouds, heeft bekend­ge­maakt dat ze NVIDIA GPU’s gaan inzetten aan de netwer­k­randen in combi­natie met NVIDIA Ethernet-switches, waardoor AI-infe­rentie reken­kracht dicht bij gebrui­kers over de hele wereld komt. Het netwerk zal ook NVIDIA’s full stack infe­ren­tie­soft­ware bevatten, inclusief NVIDIA TensorRT-LLM en NVIDIA Triton Inference server, om de pres­ta­ties van AI-toepas­singen, waaronder grote taal­mo­dellen, verder te versnellen.

Vanaf nu hebben alle Cloud­flare-klanten toegang tot lokale reken­kracht om AI-toepas­singen en ‑services te leveren via een snelle infra­struc­tuur. Dankzij deze aankon­di­ging kunnen orga­ni­sa­ties voor het eerst via Cloud­flare AI-workloads schaal­bare toepas­singen uitvoeren en naar behoefte voor de benodigde reken­kracht betalen. 

AI-infe­rentie is de manier waarop eind­ge­brui­kers AI ervaren en gaat AI-workloads domineren. Tegen­woordig is er bij orga­ni­sa­ties veel vraag naar GPU’s. Cloud­flare, met data­cen­ters in meer dan 300 steden over de hele wereld, kan snelle erva­ringen leveren aan gebrui­kers en voldoet daarmee aan wereld­wijde compliance-voorschriften.

Cloud­flare maakt het voor elke orga­ni­satie wereld­wijd mogelijk om AI-modellen te gebruiken, aange­dreven door NVIDIA GPU’s, netwerken en infe­ren­tie­soft­ware, zonder dat zij zich zorgen hoeven te maken over het beheren, schalen, opti­ma­li­seren of bevei­ligen van de AI-toepassingen. 

“AI-infe­rentie op een netwerk wordt de sweet spot voor veel bedrijven: persoon­lijke data blijft dicht bij de locatie waar gebrui­kers zich fysiek bevinden, terwijl ze toch bijzonder kosten­ef­fec­tief zijn omdat ze zich in de buurt bevinden”, aldus Matthew Prince, CEO en mede­op­richter van Cloud­flare. “Met NVIDIA’s geavan­ceerde GPU-tech­no­logie in ons wereld­wijde netwerk maken we AI-infe­rentie, die voorheen voor veel klanten onbe­reik­baar was, wereld­wijd toegan­ke­lijk en betaalbaar.”

“NVIDIA’s infe­ren­tie­plat­form is essen­tieel voor de volgende golf van gene­ra­tieve AI-toepas­singen”, stelde Ian Buck, Vice President Hypers­cale en HPC bij NVIDIA. “Met NVIDIA GPU’s en NVIDIA AI-software beschik­baar op Cloud­flare, kunnen bedrijven respon­sieve nieuwe klan­t­er­va­ringen creëren en innovatie stimu­leren in elke branche.” 

Cloud­flare maakt gene­ra­tieve AI-infe­rentie wereld­wijd toegan­ke­lijk, zonder initiële kosten. Door NVIDIA GPU’s in te zetten voor zijn wereld­wijde edge-netwerk, biedt Cloud­flare nu:

• Lage-latency gene­ra­tieve AI-erva­ringen voor iedereen met NVIDIA GPU’s beschik­baar voor infe­ren­tie­taken in ruim 100 steden tegen het einde van 2023, en bijna overal waar Cloudflare’s netwerk zich uitstrekt tegen het einde van 2024.
• Toegang tot reken­kracht in de buurt van waar klantdata zich bevindt, om klanten te helpen anti­ci­peren op mogelijke nalevings- en regel­ge­vings­ver­eisten die waar­schijn­lijk een rol gaan spelen. 
• Betaal­bare, pay-as-you-go schaal­bare reken­kracht, om ervoor te zorgen dat elk bedrijf toegang heeft tot de nieuwste AI-innovatie. Zonder de noodzaak om vooraf te inves­teren in het reser­veren van GPU’s die mogelijk onge­bruikt blijven.