MLCommons heeft AILuminate geïntroduceerd, een benchmark die de veiligheid van grote taalmodellen (LLM’s) beoordeelt. Deze versie 1.0 biedt veiligheidsbeoordelingen voor de meest gebruikte LLM’s en is het resultaat van een samenwerking tussen AI-onderzoekers en industrie-experts.
AILuminate evalueert de reacties van LLM’s op meer dan 24.000 test prompts, verdeeld over twaalf categorieën van potentiële gevaren. Deze categorieën omvatten fysieke gevaren zoals aanmoediging van zelfbeschadiging, niet-fysieke gevaren zoals privacyschendingen, en contextuele gevaren zoals het geven van ongekwalificeerd medisch advies.
De benchmark maakt gebruik van gespecialiseerde ‘safety evaluator models’ om te bepalen welke reacties inbreuk maken op de vastgestelde veiligheidsnormen. De resultaten worden samengevat in een rapport met een vijfpuntsschaal: slecht, matig, goed, zeer goed en uitstekend. Deze beoordelingen zijn gebaseerd op het percentage reacties dat de veiligheidsnormen schendt, in vergelijking met een referentiemodel samengesteld uit toegankelijke systemen met open gewichten en minder dan 15 miljard parameters.
Voor veel business- en IT-managers is het vaak onduidelijk hoe verschillende AI-modellen zich tot elkaar verhouden, vooral op het gebied van veiligheid en betrouwbaarheid. AILuminate biedt een gestandaardiseerde methode om de veiligheid van LLM’s te evalueren, wat organisaties helpt bij het nemen van geïnformeerde beslissingen over de implementatie van AI-systemen. Door een wetenschappelijke en onafhankelijke analyse van de risico’s van LLM’s te bieden, kunnen bedrijven beter begrijpen welke modellen geschikt zijn voor veilige integratie in hun producten en diensten.
De ontwikkeling van AILuminate werd geleid door de AI Risk and Reliability-werkgroep van MLCommons, bestaande uit-onderzoekers van instellingen zoals de TU Eindhoven, Stanford University en Columbia University, evenals technische experts van bedrijven zoals Google, Intel, NVIDIA, Meta, Microsoft en Qualcomm.
Overigens is MLCommons niet de eerste partij die zich op dit soort AI rating-systemen richt. Ook bedrijven als Nextcloud en IBM hebben reeds methoden voor het beoordelen van de kwaliteit en bijvoorbeeld de transparantie van modellen gelanceerd.
In de snel evoluerende wereld van AI is het essentieel voor organisaties om op de hoogte te blijven van de veilign de modellen die ze overwegen te gebruiken. AILuminate fungeert als een waardevol hulpmiddel voor het beoordelen van de veiligheid van LLM’s, waardoor bedrijven met meer vertrouwen AI-technologieën kunnen integreren in hun operaties.
