Nieuwe feature toegevoegd in Dell Data Lakehouse: Warp Speed

Dell Tech­no­lo­gies intro­du­ceert Warp Speed in het Dell Data Lakehouse. In maart 2024 werd Dell Data Lakehouse geïn­tro­du­ceerd, een oplossing met een krachtige query-engine aange­dreven door Starburst. Deze engine biedt snelle toegang tot gedis­tri­bu­eerde data, ongeacht de gege­vens­bron. De nieuwe feature leert autonoom query­pa­tronen en iden­ti­fi­ceert data die vaak wordt gebruikt om optimale indexen en caches te creëren, terwijl data die minder vaak wordt gebruikt op de oorspron­ke­lijke locatie blijft.

In onze snelle wereld moeten IT-leiders analytics en AI versnellen en tege­lij­ker­tijd de kosten onder controle houden. De balans tussen snelheid en kosten kan duur uitvallen. Het data lakehouse biedt pres­ta­tie­voor­delen tegen lagere kosten, maar data engi­nee­ring- en IT-teams vinden het lastig om te bepalen welke data ze moeten opti­ma­li­seren en cachen en welke ze onge­wij­zigd in het data lake moeten laten. Warp Speed biedt hiervoor de oplossing.

Wat doet Wrap Speed?

Het stelt orga­ni­sa­ties in staat om sneller en effi­ci­ënter dan ooit inzichten uit hun data te halen. Met Warp Speed kan hetzelfde cluster data lake query’s drie tot vijf keer sneller uitvoeren zonder dat de eind­ge­bruiker de query hoeft aan te passen. Bovendien helpt het om clusters tot 40% kleiner te maken. Eenvoudig gezegd kunnen orga­ni­sa­ties meer query’s uitvoeren op grote clusters of hetzelfde volume query’s uitvoeren op kleinere clusters.

• Data lakes versnellen: autonoom het data lake indexeren en on-demand verken­nende datasets versnellen zonder tussen­komst van data engineering.
• Krachtige dash­boards bouwen: sneller drill-downs uitvoeren op TB’s tot PB’s aan data, zonder enige veran­de­ring aan de eind­ge­brui­ker­s­er­va­ring. Dezelfde query’s worden nu sneller uitgevoerd.

Hoe werkt Wrap Speed?

Warp Speed maakt gebruik van een combi­natie van twee versnel­lings­tech­no­lo­gieën om query­pres­ta­ties te verbe­teren en de kosten te beheersen. Ten eerste maakt autonome indexe­ring de juiste index types (bitmap, woor­den­boek, tree) voor elk datablok, waardoor bewer­kingen zoals joins, filters en zoek­op­drachten worden versneld. Deze indexen worden opge­slagen op een SSD in de compute nodes voor snelle toegang. Ten tweede gebruikt het Smart Caching, een eigen SSD columnar block caching die de pres­ta­ties opti­ma­li­seert op basis van de frequentie van het gege­vens­ge­bruik. Dankzij deze caching is het niet langer nodig om tabellen te scannen, wat zorgt voor meer herge­bruik van data tussen queries en daarmee lagere compute kosten.

Warp Speed is vanaf 17 juli beschik­baar voor alle Dell Data Lakehouse-klanten en wordt onder­steund voor diegenen die Dell S3-compa­ti­bele storage gebruiken als hun data lake. De soft­wa­re­li­centie is onge­wij­zigd en nu ingebouwd. De confi­gu­ratie van de compute nodes wordt aangepast voor SSD’s die volledig zijn getest en geben­ch­markt door Dell om de Warp Speed index en ‑cache te ondersteunen.

Ga voor een volledige, hands-on ervaring naar het Dell Demo Center en verken het Dell Data Lakehouse met labs die speciaal gese­lec­teerd zijn door de experts van Dell Technologies.