Red Hat lanceert Red Hat OpenShift AI 2.15. Dit AI/ML-platform, gebouwd op Red Hat OpenShift, biedt bedrijven een krachtige, schaalbare oplossing voor het ontwikkelen en inzetten van AI-toepassingen over de hybride cloud heen. Met deze nieuwe versie krijgen bedrijven nog meer flexibiliteit, afstemmingsopties en trackingtools, wat hun AI-innovatie versnelt en het beveiligingsniveau en de consistentie over publieke clouds heen, datacenters en edge-omgevingen versterkt.
Volgens IDC zal meer dan 40% van de IT-uitgaven van Forbes Global 2000-bedrijven naar AI-initiatieven gaan. Daarnaast verwacht IDC dat bedrijven met generatieve AI en automatiseringstechnologieën tegen 2026 $1 biljoen aan productiviteit kunnen realiseren. Red Hat voorziet dat deze investeringen vragen om een robuust platform dat het levenscyclus van AI/ML-modellen kan beheren en Gen AI applicaties kan inzetten naast bestaande workloads binnen de hybride cloud.
Belangrijkste Features in OpenShift AI 2.15
- Modelregistratie: centraal beheer voor het delen, versiebeheer en volgen van Gen AI modellen, inclusief meerdere modelregistraties. Red Hat heeft het project geschonken aan de Kubeflow-community.
- Data drift detectie: voortdurende monitoring van inputdata om afwijkingen te detecteren tussen training data en live data, wat de betrouwbaarheid en nauwkeurigheid van modellen verhoogt.
- Bias detectie: tools om eerlijkheid en transparantie in modellen te bewaken, essentieel voor vertrouwen in AI, afkomstig uit de TrustyAI-gemeenschap.
- Efficiënte fine-tuning met LoRA: gebruik van low-rank adapters (LoRA) voor efficiënter afstemmen van LLMs, wat kosten en middelen bespaart.
- Ondersteuning voor NVIDIA NIM: versnelt de levering van generatieve AI-toepassingen via eenvoudig te gebruiken interface microservices, geïntegreerd in het NVIDIA AI Enterprise-platform.
- AMD GPU-ondersteuning: biedt nieuwe opties voor modelontwikkeling, bediening, training en tuning met AMD GPU’s, ideaal om de prestaties van intensieve rekenprocessen te verbeteren.
Verbeterde model serving
Red Hat OpenShift AI 2.15 tilt Gen AI model serving naar een hoger niveau met nieuwe functies zoals de vLLM-runtime voor KServe en ondersteuning voor KServe Modelcars. Dit betekent dat je nu Open Container Initiative (OCI)-repositories kunt gebruiken om gecontaineriseerde modellen eenvoudig op te slaan en te beheren. Daarnaast zorgt de keuze tussen private en public routes voor endpoints in KServe ervoor dat organisaties de beveiliging van hun modellen kunnen verbeteren door ze te richten op interne endpoints.
Uitgebreide AI training en experimentatie
De nieuwste OpenShift AI-update versterkt datasience-pijplijnen en experiment tracking met slimme verbeteringen. Hyperparameter tuning via Ray Tune verhoogt de nauwkeurigheid en versnelt het trainen van voorspellende en generatieve AI-modellen. Dankzij de toevoeging van basiscontainerafbeeldingen voor Ray-clusters kunnen trainings- en tuningtaken efficiënt worden verdeeld over meerdere workloads in het cluster. Dit versnelt niet alleen de verwerkingstijd, maar maximaliseert ook het gebruik van beschikbare nodes.
Beschikbaarheid
Red Hat OpenShift AI 2.15 is beschikbaar mid-november 2024.
