In het kader van het Innovative and Wireless Network (IOWN) initiatief, hebben NTT Corporation (NTT), Red Hat Inc., NVIDIA en Fujitsu, een gezamenlijke oplossing ontwikkeld die het potentieel van real-time AI-data-analyse in de edge verbetert en uitbreidt. Het platform is gebouwd met technologie van IOWN Global Forum en gebruikt Red Hat OpenShift, het toonaangevende hybride cloud applicatieplatform aangedreven door Kubernetes, als basis. De oplossing is erkend als Proof of Concept door het IOWN Global Forum voor haar inzetbaarheid en use cases.
Net als AI kennen detectietechnologie en netwerkinnovatie een snelle groei. Het gebruik van AI-analyse om input in de edge te beoordelen wordt bijgevolg cruciaal, vooral omdat databronnen bijna dagelijks uitbreiden. Echter, AI-analyse op grote schaal gebruiken kan soms traag en complex zijn. Bovendien wordt het soms geassocieerd met hoge onderhoudskosten en software-onderhoud om de nieuwe AI-modellen en extra hardware aan boord te halen. Dankzij nieuwe edge computing functionaliteiten in verafgelegen plaatsen, kan AI-analyse vandaag dichter bij de sensoren worden geplaatst, wat goed is voor de bandbreedte en latentie.
De oplossing maakt gebruik van het IOWN All-Photonics netwerk (APN) en datapijplijn versnellingstechnologie in de IOWN Data-Centric infrastructuur (DCI). De versnelde datapijplijn voor AI van NTT gebruikt Remote Direct Memory Access (RDMA) boven APN om doeltreffend grote hoeveelheden data van de sensoren in de edge te verzamelen en te verwerken. Containertechnologie van Red Hat OpenShift biedt meer flexibiliteit om workloads in de versnelde datapijplijn te bedienen over verschillende locaties en verafgelegen datacenters heen. NTT en Red Hat hebben aangetoond dat deze oplossing met succes energie bespaart, en bovendien lagere latentie biedt voor real-time AI-analyse in de edge.
De Proof of Concept evalueerde een real-time AI-analyse platform met Yokosuka City voor de sensorinstallatie, en met Musashino City voor de afgelegen data center. Beide waren geconnecteerd via APN. Het gevolg: zelfs wanneer grote hoeveelheden camera’s werden ondergebracht, was de vertraging om data uit de sensoren samen te brengen voor AI-analyse tot 60% minder dan andere conventionele AI workloadbeheerders.
Bovendien kon de IOWN POC aantonen dat tot 40% energie kon worden bespaard voor AI-analyse voor elke camera in de edge vergeleken met standaardtechnologie. Dankzij dit real-time AI-analyse platform kunnen GPU’s worden opgeschaald om grote hoeveelheden camera’s te beheren zonder dat de CPU een bottleneck wordt. Volgens een proefberekening die ervan uitgaat dat 1.000 camera’s worden beheerd, kan tot 60% van de energie worden bespaard.
De hoogtepunten van de Proof of Concept zijn:
- Versnelde datapijplijn voor AI
- Grootschalige AI-data-analyse in real-time
- Deze POC gebruikt NVIDIA A100 Tensor Core GPUs en NVIDIA ConnectX-6 NICs voor AI
- Deze oplossing helpt de basis te leggen voor slimme AI-technologieën die bedrijven helpt op te schalen. Met deze oplossing kunnen organisaties genieten van:
- Minder overhead kosten gelinkt aan het verzamelen van grote hoeveelheden data;
- Betere dataverzameling die kan worden uitgewisseld tussen stedelijke gebieden en verafgelegen data centers voor een snelle AI-analyse;
- De mogelijkheid om lokale en mogelijks hernieuwbare energie te gebruiken, zoals zonne- of windenergie;
- Grotere terreinbeveiliging met video camera’s als sensoren.
