Cloudflare, leverancier van connectiviteitsclouds, heeft bekendgemaakt dat ze NVIDIA GPU’s gaan inzetten aan de netwerkranden in combinatie met NVIDIA Ethernet-switches, waardoor AI-inferentie rekenkracht dicht bij gebruikers over de hele wereld komt. Het netwerk zal ook NVIDIA’s full stack inferentiesoftware bevatten, inclusief NVIDIA TensorRT-LLM en NVIDIA Triton Inference server, om de prestaties van AI-toepassingen, waaronder grote taalmodellen, verder te versnellen.
Vanaf nu hebben alle Cloudflare-klanten toegang tot lokale rekenkracht om AI-toepassingen en -services te leveren via een snelle infrastructuur. Dankzij deze aankondiging kunnen organisaties voor het eerst via Cloudflare AI-workloads schaalbare toepassingen uitvoeren en naar behoefte voor de benodigde rekenkracht betalen.
AI-inferentie is de manier waarop eindgebruikers AI ervaren en gaat AI-workloads domineren. Tegenwoordig is er bij organisaties veel vraag naar GPU’s. Cloudflare, met datacenters in meer dan 300 steden over de hele wereld, kan snelle ervaringen leveren aan gebruikers en voldoet daarmee aan wereldwijde compliance-voorschriften.
Cloudflare maakt het voor elke organisatie wereldwijd mogelijk om AI-modellen te gebruiken, aangedreven door NVIDIA GPU’s, netwerken en inferentiesoftware, zonder dat zij zich zorgen hoeven te maken over het beheren, schalen, optimaliseren of beveiligen van de AI-toepassingen.
“AI-inferentie op een netwerk wordt de sweet spot voor veel bedrijven: persoonlijke data blijft dicht bij de locatie waar gebruikers zich fysiek bevinden, terwijl ze toch bijzonder kosteneffectief zijn omdat ze zich in de buurt bevinden”, aldus Matthew Prince, CEO en medeoprichter van Cloudflare. “Met NVIDIA’s geavanceerde GPU-technologie in ons wereldwijde netwerk maken we AI-inferentie, die voorheen voor veel klanten onbereikbaar was, wereldwijd toegankelijk en betaalbaar.”
“NVIDIA’s inferentieplatform is essentieel voor de volgende golf van generatieve AI-toepassingen”, stelde Ian Buck, Vice President Hyperscale en HPC bij NVIDIA. “Met NVIDIA GPU’s en NVIDIA AI-software beschikbaar op Cloudflare, kunnen bedrijven responsieve nieuwe klantervaringen creëren en innovatie stimuleren in elke branche.”
Cloudflare maakt generatieve AI-inferentie wereldwijd toegankelijk, zonder initiële kosten. Door NVIDIA GPU’s in te zetten voor zijn wereldwijde edge-netwerk, biedt Cloudflare nu:
- Lage-latency generatieve AI-ervaringen voor iedereen met NVIDIA GPU’s beschikbaar voor inferentietaken in ruim 100 steden tegen het einde van 2023, en bijna overal waar Cloudflare’s netwerk zich uitstrekt tegen het einde van 2024.
- Toegang tot rekenkracht in de buurt van waar klantdata zich bevindt, om klanten te helpen anticiperen op mogelijke nalevings- en regelgevingsvereisten die waarschijnlijk een rol gaan spelen.
- Betaalbare, pay-as-you-go schaalbare rekenkracht, om ervoor te zorgen dat elk bedrijf toegang heeft tot de nieuwste AI-innovatie. Zonder de noodzaak om vooraf te investeren in het reserveren van GPU’s die mogelijk ongebruikt blijven.
