Dell Technologies introduceert Warp Speed in het Dell Data Lakehouse. In maart 2024 werd Dell Data Lakehouse geïntroduceerd, een oplossing met een krachtige query-engine aangedreven door Starburst. Deze engine biedt snelle toegang tot gedistribueerde data, ongeacht de gegevensbron. De nieuwe feature leert autonoom querypatronen en identificeert data die vaak wordt gebruikt om optimale indexen en caches te creëren, terwijl data die minder vaak wordt gebruikt op de oorspronkelijke locatie blijft.
In onze snelle wereld moeten IT-leiders analytics en AI versnellen en tegelijkertijd de kosten onder controle houden. De balans tussen snelheid en kosten kan duur uitvallen. Het data lakehouse biedt prestatievoordelen tegen lagere kosten, maar data engineering- en IT-teams vinden het lastig om te bepalen welke data ze moeten optimaliseren en cachen en welke ze ongewijzigd in het data lake moeten laten. Warp Speed biedt hiervoor de oplossing.
Wat doet Wrap Speed?
Het stelt organisaties in staat om sneller en efficiënter dan ooit inzichten uit hun data te halen. Met Warp Speed kan hetzelfde cluster data lake query’s drie tot vijf keer sneller uitvoeren zonder dat de eindgebruiker de query hoeft aan te passen. Bovendien helpt het om clusters tot 40% kleiner te maken. Eenvoudig gezegd kunnen organisaties meer query’s uitvoeren op grote clusters of hetzelfde volume query’s uitvoeren op kleinere clusters.
- Data lakes versnellen: autonoom het data lake indexeren en on-demand verkennende datasets versnellen zonder tussenkomst van data engineering.
- Krachtige dashboards bouwen: sneller drill-downs uitvoeren op TB’s tot PB’s aan data, zonder enige verandering aan de eindgebruikerservaring. Dezelfde query’s worden nu sneller uitgevoerd.
Hoe werkt Wrap Speed?
Warp Speed maakt gebruik van een combinatie van twee versnellingstechnologieën om queryprestaties te verbeteren en de kosten te beheersen. Ten eerste maakt autonome indexering de juiste index types (bitmap, woordenboek, tree) voor elk datablok, waardoor bewerkingen zoals joins, filters en zoekopdrachten worden versneld. Deze indexen worden opgeslagen op een SSD in de compute nodes voor snelle toegang. Ten tweede gebruikt het Smart Caching, een eigen SSD columnar block caching die de prestaties optimaliseert op basis van de frequentie van het gegevensgebruik. Dankzij deze caching is het niet langer nodig om tabellen te scannen, wat zorgt voor meer hergebruik van data tussen queries en daarmee lagere compute kosten.
Warp Speed is vanaf 17 juli beschikbaar voor alle Dell Data Lakehouse-klanten en wordt ondersteund voor diegenen die Dell S3-compatibele storage gebruiken als hun data lake. De softwarelicentie is ongewijzigd en nu ingebouwd. De configuratie van de compute nodes wordt aangepast voor SSD’s die volledig zijn getest en gebenchmarkt door Dell om de Warp Speed index en -cache te ondersteunen.
Ga voor een volledige, hands-on ervaring naar het Dell Demo Center en verken het Dell Data Lakehouse met labs die speciaal geselecteerd zijn door de experts van Dell Technologies.
