Energie-efficiënte initiatieven hebben in de afgelopen decennia de energieconsumptie aanzienlijk doen dalen. Hedendaagse huizen verbruiken waarschijnlijk evenveel energie voor verlichting als wat nodig is voor twee of drie oude gloeilampen van 100 W. Maar wie had ooit gedacht dat met de nieuwste generatie hard disk drives (HDD) één petabyte aan opslagcapaciteit ook nog eens minder energie vereist dan vijf van diezelfde oude gloeilampen?
Met een nog altijd toenemende vraag naar online opslagcapaciteit voor databases die altijd benaderbaar zijn, is het van groot belang om opslagsystemen te ontwikkelen die deze groeiende gegevensstroom kunnen bijbenen en tegelijkertijd aan bepaalde criteria voldoen. Gezien de enorme hoeveelheid gegevens is de directe kostprijs per capaciteit ($/TB) één van de voornaamste selectiecriteria. Energieverbruik is een ander belangrijk aspect, aangezien dit gedurende de hele levensduur impact heeft op de operationele kosten. Energie hoort dan ook efficiënt gebruikt te worden. Het verlaagt de energierekening en vermindert bovendien de koelingsbehoefte, waar ook weer kosten mee gemoeid zijn. Ook moet er rekening worden gehouden met de fysieke afmetingen van de eindoplossing. Meer schijven vereisen een grotere behuizing. De serverkast is idealiter een eenvoudig standaard 19” rack-systeem die in de bestaande infrastructuur van 1000 mm lange racks past. Prestatie is uiteraard een andere factor. Maar wanneer er geselecteerd wordt op een maximale capaciteit bij een minimaal stroomverbruik, dan heeft dit wel een lagere IOPS (Input/Output Operaties per Seconde) tot gevolg.
In een onderzoek uitgevoerd door het Toshiba Electronics Europe GmbH researchteam werd onderzocht of het mogelijk was om 1 PB aan gegevensopslag in één systeem in te bouwen dat minder dan 500 W aan vermogen verbruikt.
Keuze in opslag
De meest kosteneffectieve technologie voor massacapaciteit is nog altijd het gebruik van HDD’s. De beste $/TB-ratio’s bieden Toshiba’s 12 TB-, 14 TB- en 16 TB-modellen. Om echter zeker te stellen dat het eindsysteem in een standaard 19” rack paste, werden voor het onderzoek 16 TB-drives geselecteerd om zo het benodigde fysieke volume tot een absoluut minimum te beperken. Deze keuze sluit ook aan op de stroomverbruiksdoelstelling, aangezien het vermogensverlies per unitcapaciteit successievelijk is gedaald met de introductie van nieuwe HDD-modellen (tabel 1). Dit komt niet alleen door de geïmplementeerde, nieuwe technologie, maar ook dankzij een verschuiving naar helium-gevulde drives (figuur 1).
| Jaar | Model | Capaciteit (TB) | Actief maximaal vermogen (W) | Actief vermogen Power W/TB |
| 2013 | MG040CA | 6 | 11,3 | 1,9 |
| 2015 | MG05ACA | 8 | 11,4 | 1,4 |
| 2017 | MG06ACA | 10 | 10,6 | 1,1 |
| 2018 | MG07ACA | 14 | 7,8 | 0,6 |
| 2019 | MG08ACA | 16 | 7,7 | 0,5 |
Figuur 2: De MG08-serie, met helium gevuld, 16 TB HDD.
De 16 TB-modellen van Toshiba’s MG08-serie zijn verkrijgbaar met zowel SAS- en SATA-interfaces. De SAS-interface biedt twee 12 GB/s-kanalen, ideaal voor systemen waarbij hoge beschikbaarheid en snelheid belangrijk zijn. Deze optie gaat echter gepaard met hogere energiekosten, omdat SAS-drives ongeveer één tot twee watt meer verbruiken dan hun SATA-tegenhangers. De doelstelling was om stroomverbruik te verminderen, en dus werd het SATA-interfacemodel MG08ACA16TE de gekozen kandidaat voor dit project.
De individuele specificaties voor deze specifieke drive qua vermogensverlies staan in tabel 2.
| Use case | Vermogensverlies |
| Random Read – 4 kB blokken, QD = 16 | 8,60 W |
| Random Write – 4 kB blokken, QD = 16 | 5,83 W |
| Sequential Read | 7,50 W |
| Sequential Write | 6,83 W |
| Idle_A | 4,00 W |
| Spin-up (maximaal 500 ms) | 16,85 W |
Een behuizing selecteren
Nu de opslag was gedefinieerd, was de volgende stap het selecteren van een geschikte behuizing. Toploader-modellen zijn praktisch en verkrijgbaar als JBOD in een vier unit hoog 19” rackformaat. Voor dit project viel de keuze op een 60-bay-model van AIC, de AIC-J4060-02. Passend bij de specificaties van een één-kanaals SATA-interface, leverde de single expander-versie de grootste besparingen op voor wat betreft kosten en vermogensverliezen. Eenmaal gevuld met 16 TB HDD’s heeft deze configuratie een bruto opslag van 960 TB, bijna één petabyte. Vervolgens werd de JBOD met één enkele mini SAS-HD-kabel aangesloten op de host bus adapter (HBA) of RAID-controller van de server.
Deze JBOD met een lengte van slechts 810 mm past in elk bestaand rack.
Baseline testen
Een eerste stroomverbruiksmeting werd uitgevoerd zonder de HDD’s via de 220 V ingangen naar de redundante twin stroomtoevoer. De eerste meting van 80 W vond plaats zonder aangesloten HDD’s, maar wel met de JBOD- en SAS-link-up. De volgende stap was het meten van het stroomverbruik met één enkele drive onder verschillende belastingsomstandigheden. De keuze viel op sequentiële schrijfbelastingssimulaties voor archivering, video-opnamen en back-up met blokken van 64 kB. Met dezelfde blokgrootte werden ook sequentiële leesopdrachten uitgevoerd, equivalent aan een back-up-recovery en media-streaming belasting. Voor een volgend gegevenspunt werden ook 4KB random read/writes-opdrachten uitgevoerd die overeenkomen met de agile ‘hot-data’ workload van databases. Deze correlatie is zeker niet volledig ten opzichte van doorsnee belastingsvormen voor dit systeemtype, maar maakte het mogelijk om voldoende referentiegegevens te verzamelen voor vergelijkingsdoeleinden.
Naast deze borderline cases werd ook een test met een benadering van een echte belasting uitgevoerd. Een mix van verschillende blokafmetingen werd willekeurig gelezen en geschreven (4kB: 20%, 64kB: 50%, 256kB: 20%, 2MB: 10%). Om de maximaal haalbare prestatie te bereiken, werden alle synthetische loads uitgevoerd met een queue depth (QD) van 16. Bovenop deze testen werd een standaard kopieproces op een logische drive onder Windows in gang gezet en werd het vermogensverlies gemeten.
De resultaten voor de individuele drive use case toonden consequent een lager stroomverbruik dan vermeld in de datasheet voor de geselecteerde drive (tabel 3). Een ander opmerkelijk punt is dat, in tegenstelling tot de datasheet, sequentiële loads tot een hoger stroomverbruik leiden dan willekeurige access loads. Dit kan worden teruggevoerd op de stroombehoeften van de JBOD, aangezien de SAS-expanders meer stroom vereisen bij hoge bandbreedtes in sequentiële operatie.
| Use Case | Vermogensverlies |
| Random Read – 4 kB blokken, QD = 16 | 84,0 W |
| Random Write – 4 kB blokken, QD = 16 | 83,6 W |
| Sequentiële Read – 64 kB blokken | 86,0 W |
| Sequentiële Write – 64 kB blokken | 85,0 W |
| Mix van read/write workload | 84,2 W |
| Windows-kopie | 85,0 W |
Systeemtesten van diverse configuraties
Toen alle sleuven van de JBOD waren opgevuld, kwam het maximale stroomverbruik bij een idling systeem op een respectabele 420 W. Dit is ietwat hoger dan verwacht (80 W + 60 x 4 W = 320 W) en kan worden herleid naar het feit dat de controller soms de HDD’s aanspreken, zelfs in de idle-modus. Anderzijds was de gemeten piek tijdens het opstarten van de stroom slechts 720 W, aanzienlijk lager dan de som van de JBOD plus de spin-up datasheetwaarden voor de HDD’s (80 W + 60 x 16,85 W = ~1100 W). Dit kan worden teruggevoerd naar de door het systeem gebruikte staggered spin-up benadering, waarbij de HDD’s één voor één worden bekrachtigd.
Het systeem werd opnieuw getest met dezelfde workloads die voor de single drive operatie werden gebruikt. Het hoogst gemeten stroomverbruik van 500 W vond plaats tijdens het sequentiële reads van 64kB blokken. De laagste meting van 445 W vond plaats bij zowel sequentiële 64 kB als random 4 kB schrijfbelasting (figuur 5).
Figuur 5: Stroomverbruik van petabyte opslagsysteem in variërende testscenario’s
Twee andere configuraties werden ook onder de loep genomen. De eerste configuratie combineerde de 60 harde schijven tot een lokale RAID10 met 5 sub-arrays om een netto opslag van 480 TB te realiseren. Deze werd daarna onder Windows Server 2016 geformatteerd tot twee logische drives van elk 240 TB. Hierbij vroegen sequentiële benaderingen minder stroom, terwijl random benaderingen in essentie overeenkwamen met wat er in de JBOD-modus werd gemeten.
Het implementeren van een software-gedefinieerd zettabyte file system (ZFS) middels JovianDSS van Open-E leidde ook tot verbeteringen in stroomverbruik voor leestesten, maar ietwat hogere metingen bij schrijven. In deze configuratie werden er ook twee 800 GB enterprise SSD’s toegevoegd als een read cache en een write log buffer. De resulterende 240 TB logische drives waren benaderbaar via iSCSI.
Conclusie
Toshiba Electronics Europe GmbH schat de totale capaciteit van alle in 2019 verscheepte enterprise (Nearline) HDD’s op circa 500 exabytes (500.000 petabytes). Wanneer al deze HDD’s als 16TB-modellen in 60-bay JBOD’s zouden zijn uitgevoerd, dan zou dit leiden tot een continu stroomverbruik van 225MW (gelijk aan een gemiddelde kolengestookte centrale). Aangezien de meeste in 2019 geleverde HDD’s echter een nóg lagere capaciteit hadden, kan men aannemen dat het stroomverbruik zelfs nóg hoger lag. Er is duidelijk veel ruimte voor verbetering om de cijfers van W/TB-stroomverbruik van de industrie te reduceren. De onderzoeken en testen die door Toshiba Electronics Europe GmbH zijn uitgevoerd laten zien dat dankzij de energie-efficiëntie van de nieuwste generatie met helium gevulde hoge capaciteitsdisks, een petabyte-opslag met een opgenomen vermogen beneden de 500 W haalbaar is. Dit is een belangrijk gegeven voor datacenters die willen groeien met minimale investeringen en operationele kosten. Bovendien kan dit met verschillende configuraties worden bereikt, variërend van puur JBOD, middels RAID, tot en met software-gedefinieerde oplossingen, allemaal passend in een standaard 19” rack.
