Hazelcast, een cloud-applicatieplatform, heeft aangekondigd dat het met succes een prestatiemijlpaal voor stream-verwerking heeft bereikt van een miljard events per seconde met een latency van 26 milliseconden op 720 virtuele CPU’s (vCPU’s) in een publieke cloud-implementatie.
Het Hazelcast In-Memory Computing Platform biedt hoge snelheid, cloud-native, gedistribueerde stateful streamprocessing mogelijkheden geïntegreerd met in-memory storage om software-applicaties aan te sturen met de hoogste doorvoer en laagste latency eisen. High-performance softwaresystemen zijn vandaag de dag nodig voor batchberekeningen op grote datasets. Deze systemen bieden ook de ruimte in transactieverwerking en streaming analytics om meer werk in minder tijd uit te voeren. Dit geeft bedrijven meer vrijheid om te experimenteren en nieuwe competitieve voordelen te identificeren.
Het prestatieniveau dat in deze benchmark werd aangetoond, is bijzonder waardevol voor verbeterde machine learning (ML) en AI, bijvoorbeeld bij fraudedetectie en andere taken die geautomatiseerde, real-time beslissingen vereisen. Dergelijke algoritmen worden steeds complexer, nemen steeds meer middelen in beslag en eisen steeds grotere nauwkeurigheid. Kosteneffectieve verwerkingskracht is dan ook cruciaal om voortdurende evolutie en verbetering mogelijk te maken en tegelijkertijd de uitgaven onder controle te houden.
“Ik doe al jaren onderzoek naar stream processing systemen en open source, en ik was erg onder de indruk toen ik deze benchmark resultaten zag,” zegt Asterios Katsifodimos, assistent-professor aan de TU Delft. “De streamverwerking van een miljard events per seconde vraagt in de wereld van JVM om nauwgezette parametrisatie en de inzet van duizenden CPU-cores. En zelfs dan is er sprake van latency van enkele seconden. Hoewel de meeste praktijktoepassingen om veel minder doorvoercapaciteit vragen dan een miljard gebeurtenissen per seconde blijkt uit deze benchmark dat Hazelcast Jet gigantische datastreams kan verwerken bij een latency in de orde van grootte van milliseconden. Dit vereist slechts een geringe investering in cloud-nodes, zodat er een groot deel van het budget overblijft voor high availability-implementaties.”
“Een miljard events per seconde lijkt vandaag de dag misschien wat overdreven, maar data staat aan de vooravond van een volgende explosie nu steeds meer applicaties verhuizen naar de cloud en uiteindelijk naar de edge” zegt John DesJardins, CTO van Hazelcast. “Door samenwerking met partners waaronder IBM en Intel en dit te combineren met het Hazelcast-platform weten klanten zeker dat hun applicaties grote hoeveelheden data in real-time kunnen verwerken en berekenen, terwijl de hardware-kosten onder controle blijven.”
