Tijdens de OCP Summit die deze week in Calfornië wordt gehouden heeft een aantal bedrijven afspraken gemaakt over AI-dataformaten. Het realiseren van het volledige potentieel van de volgende generatie deep learning vereist een zeer efficiënte AI-infrastructuur. Voor een rekensysteem om schaalbaar en kosteneffectief te zijn, is optimalisatie van elke laag van de AI-stack noodzakelijk, van algoritmen tot hardware.
Vooruitgang in nauwkeurige AI-dataformaten en de bijbehorende geoptimaliseerde algoritmen zijn cruciaal geweest voor deze ontwikkeling. Zo kon de industrie de overstap maken van de traditionele 32-bits drijvende-kommagetalprecisie naar slechts 8 bits (bijvoorbeeld OCP FP8).
Deze smallere formaten stellen chips in staat om efficiëntere AI-berekeningen per clock cycle uit te voeren, waardoor de training en inferentietijden van modellen worden versneld. AI-modellen nemen hierdoor minder ruimte in beslag, wat betekent dat er minder dataverzoeken vanuit het geheugen nodig zijn en dat ze beter en efficiënter kunnen draaien. Bovendien vermindert het aantal bitoverdrachten de gegevensbeweging via de interconnect, wat de prestaties van applicaties kan verbeteren of netwerkkosten kan verlagen.
Samenwerking in de industrie
Eerder dit jaar hebben AMD, Arm, Intel, Meta, Microsoft, NVIDIA en Qualcomm Technologies de Microscaling Formats (MX) Alliance gevormd met het doel om de volgende generatie 6- en 4-bits datatypes voor AI-training en -inferentie te creëren en te standaardiseren. De sleuteltechnologie die deze sub 8-bits formaten mogelijk maakt, staat bekend als ‘microscaling’ en is gebaseerd op jaren van onderzoek en ontwerpverkenning. MX verbetert de robuustheid en gebruiksvriendelijkheid van bestaande 8-bits formaten zoals FP8 en INT8, waardoor de drempel voor een bredere acceptatie van enkelcijferige bittraining en -inferentie lager wordt.
De eerste MX-specificatie introduceert vier concrete datatypes gebaseerd op floating point-getallen en gehele getallen (MXFP8, MXFP6, MXFP4 en MXINT8) die compatibel zijn met huidige AI-stacks. Ze ondersteunen implementatieflexibiliteit op zowel hardware- als softwareniveau en maken fijnmazige microscaling op hardwareniveau mogelijk. Uitgebreide studies tonen aan dat MX-formaten eenvoudig kunnen worden ingezet voor diverse real-world toepassingen zoals grote taalmodellen, computer vision en aanbevelingssystemen.
Democratisering van AI-Capaciteiten
In het zich ontwikkelende landschap van AI zijn open standaarden cruciaal om innovatie, samenwerking en brede adoptie te bevorderen. Deze standaarden bieden een verenigend kader dat consistente toolchains, modelontwikkeling en interoperabiliteit in het AI-ecosysteem mogelijk maakt. Hierdoor kunnen ontwikkelaars en organisaties het volledige potentieel van AI benutten, terwijl ze de fragmentatie en technologische beperkingen die anders de vooruitgang zouden kunnen belemmeren, verminderen.
In deze geest heeft de MX Alliance de Microscaling Formats (MX) Specificatie v1.0 vrijgegeven in een open, licentievrij formaat via de Open Compute Project Foundation (OCP). Dit om brede industriële adoptie mogelijk te maken en te stimuleren en een fundament te leggen voor mogelijke toekomstige innovaties in smalle formaten. Een whitepaper en emulatiebibliotheken zijn ook gepubliceerd om details te verstrekken over de benadering van datawetenschap en geselecteerde resultaten van MX in actie.
De vorming van de MX Alliance en de daaropvolgende standaardisatie van smallere dataformaten vormen een cruciale stap in het realiseren van het volledige potentieel van de volgende generatie diep-lerende systemen. Het bundelt de krachten van sleutelspelers in de industrie, bevordert efficiënte berekeningen en effent het pad voor toegankelijkere, schaalbare en kosteneffectieve AI-oplossingen.
