Facebook is een bedrijf dat het leuk vindt om dingen te maken. Ze houden er van om te creeeren. Dit is overal zichtbaar als je over de campus van het concern in Menlo Park loopt. De campus heeft zijn eigen Wood Shop en een Analog Research Laboratory waar medewerkers kunnen leren om hout te bewerken en creatief te zijn in de fysieke wereld. Ze willen van alles weten hoe het werkt. En daar willen ze open over zijn.
Innovatie rond hardware
Presentatie Facebook & GlusterFS, relative cost
Ongeveer zes jaar geleden besloot Facebook om zelf zijn eigen datacenters en hardware van de grond af te gaan ontwerpen. De stichting Open Compute Project (OCP) werd in 2011 door Facebook gestart, samen met Rackspace en Intel om op basis van het open source-gedachtegoed innovatie rond hardware tot stand te brengen. In en rond het datacenter-ecosysteem.
Drie van de vijf grootste bedrijven naar marktwaarde zijn lid van OCP: Google/Alphabet, Microsoft en Facebook. Amazon gebruikt zonder veel openheid ook zijn eigen op maat gemaakte hardware. Alleen Apple past in het datacenter nog hardware van traditionele verdorren toe.
Om OCP-technologie nog meer toegankelijk te maken, organiseerde Facebook onlangs de zogeheten de OCP Technology Day om enkele gevalideerde use cases te presenteren.
OCP Technology Day
De OCP Technology Day werd gehouden op 30 augustus 2016 in Facebook’s nieuwe kantoorgebouw building 20. Dit is overigens hetzelfde gebouw vanwaaruit Mark Zuckerberg recentelijk aan het live screamen was. Het gebouw bevindt zich tegenover de campus. Facebook demonstreerde die dag hoe OCP-producten gebruikt kunnen worden bij andere bedrijven. Waarom is dit belangrijk? En wat zegt ons dit?
Muurschildering Building 16 entree
GlusterFS
Tijdens de dag toonde een Facebook-medewerker het gebruik van de open source-software GlusterFS. Gebruik makend van de standaard Facebook Knox JBOD externe opslagsysteem (gemaakt door Wiwynn) verbonden met een Facebook Leopard-server via een SI SAS RAID controller leveren zij hun interne gebruikers een POSIX-opslag via NFS. Met wat additionele configuratie en tools om de data te repliceren en de service redundant te maken kunnen ze de stricte interne SLA’s behalen.
Volledig open source
Wat Facebook hier heeft gedaan, is een storage-oplossing bieden aan interne gebruikers die in vele aspecten identiek is aan elke andere enterprise-omgeving, gebaseerd op open software en hardware en compleet onder hun eigen beheer. Dit heeft tot significante kostenbesparingen geleid op zowel hardware en software (licenties), producttrainingen en contracten voor externe support. Maar misschien nog belangrijker is dat Facebook hiermee laat zien dat de bedrijven in staat zijn om de strategische keuze te maken om volledig open source te gaan en hier hun voordeel uit te halen. Het is een kwestie van het break-even punt uitrekenen en de strategische keuze te maken.
De volgende tabel laat zien hoeveel Facebook schat bespaard te hebben:
| Storage Solution | Relative Cost |
| Proprietary NFS | $$$$ to $$$ |
| 3x Replicated w/OCP | $$ |
| Erasure Coded w/ OCP (8+4) | $ |
Tijdens de middag demonstreerde Red Hat en Canonical hoe zij hun OS installeren op OCP-hardware.
Geen VGA of HDMI
OCP validation lab detail (left side rack)
De Facebook Leopard bare-metal server – of beter gezegd: het moederbord van deze server – heeft geen VGA- of HDMI-connector. Het is immers niet nodig om een monitor te verbinden voor het installeren van een operating system. Daarnaast ondersteunt dit moederbord wel Intel’s bekende Broadwell CPU-lijn. De server doet eerst een poging om middels PXE op te starten vanaf de geinstalleerde Mezzanine-kaart of de on-board LOM en pas daarna van SATA. Het blijft deze loop herhalen totdat het iets heeft gevonden om van op te starten.
Dit maakt het voor de hand liggend om een vorm van geautomatiseerde deployment te gebruiken. Dit willen we natuurlijk toch al als we een groot aantal servers te beheren hebben. Het is natuurlijk ook mogelijk om de boot-instellingen aan te passen en de BMC heeft ook ondersteuning voor virtuele devices.
Adapters
In dit geval gebruikte het lab single 10G Mezzanine adapters van Mellanox. Dit is de meest voorkomende adapter bij Facebook. Maar ze kunnenook dual 10G, 40G of de nieuwere 25G tot 100G standaarden gebruiken. Deze zijn ook beschikbaar in OCP’s mezzanine-formaat.
Zowel Red Hat als Canonical installeerde tijdens hun demo’s met succes hun eigen smaak OpenStack. Voor Red Hat is dat RHEL met gebruik van CloudForms en Canonical’s Ubuntu met MAAS en Juju. Zelfs de Wedge-100 switch is te managen, aangezien deze ook een smaak van Linux draait.
Aangezien het Facebook Leopard moederbord ook al installatie van Microsoft en VMware ondersteunt van makers als Wiwynn, opent dit de deuren tot bredere adoptie van OCP.
Gebruik makend van enkele bouwblokken compute, storage, netwerk en rack kunnen daarmee de meeste software defined oplossingen worden gerealiseerd.
Naar het lab
OCP validation lab rack full (left side rack)
In het netwerk lab in building 16 ligt de allereerste Wedge-40 switch, gesigneerd door iedereen die er aan mee heeft gewerkt. In een ander netwerk-lab zijn een heleboel kleurrijk verlichte Wedge-100 switches geplaatst.
In het lab is een groot aantal engineers bezig met producten die nog niet publiekelijk bekend zijn. Er is ook een telco-lab voor het ontwikkelen van cellular netwerk-producten.
Interessant is ook het lab voor storage-producten, van reguliere hard disks tot Blu-ray opslag en all-flash NVME.
Validation Lab
En dan is er nog het OCP Validation Lab. Dit initiatief is zo nieuw dat het nog gebruik maakt van een tijdelijke locatie. Er zijn twee racks in deze ruimte die bijna helemaal vol zitten met servers, storage en netwerkapparatuur. Een stukje verderop in building 17 is het nieuwe “Area 404” lab en door de grote ramen kunnen we zien dat hier aan nog veel meer OCP-producten wordt gewerkt.
Voor de fabricage werkt Facebook samen met de fabrikanten die ook onze laptops, servers en mobiele telefoons maken. Als Circle B werken wij eveneens met deze firma’s samen om op OCP gebaseerde oplossingen te leveren aan sub-hyperscale datacenter operators.
Iedereen die meer interesse heeft in deze onderwerpen kan naar de OCP-pagina op Facebook gaan om de opgenomen presentaties te bekijken. Of kijk voor meer info op de OCP Wiki.
Menno Kortekaas is Technical Director bij Circle B
