Onbedoeld vrijkomen van inert gas bij Microsoft leidt tot kettingreactie

Een probleem tijdens routine-onderhoud aan een brand­blus­sys­teem in een data­center van Microsoft heeft tot downtime geleid voor Azure-gebrui­kers. Tijdens het onderhoud kwam onver­wachts inert gas vrij, wat een ketting­re­actie heeft veroorzaakt.

Dit meldt Microsoft. Het incident deed zich voor op 29 september en leidde tot connec­ti­vi­teits­pro­blemen voor een deel van de klanten van de Azure regio North Europe. Zij ervoeren problemen met onder meer Virtual Machines, Cloud Services, Azure Backup, App Services\Web Apps, Azure Cache, Azure Monitor, Azure Functions, Time Series Insights, Stream Analytics, HDInsight, Data Factory en Azure Scheduler, Azure Site Recovery.

Kettingreactie

Microsoft meldt in een verkla­ring dat tijdens routi­ne­ma­tige onderhoud om onbekende reden intert gas is vrij­ge­komen, wat een ketting­re­actie heeft veroor­zaakt. Op het moment dat het brand­blus­sys­teem onbedoeld in werking trad, werden lucht­be­han­de­lings­units in het data­center auto­ma­tisch uitge­scha­keld. Dit is een stan­daard­maat­regel bedoeld om verdere versprei­ding van een brand te voorkomen.

Het bedrijf geeft aan dat direct duidelijk was dat het intert gas onbedoeld was vrij­ge­komen. Technici zijn daarom direct aan de slag gegaan met het herstarten van de lucht­be­han­de­lings­unit, wat 35 minuten in beslag heeft genomen. In deze periode steeg de tempe­ra­tuur in de getroffen zone echter tot boven de normale opera­ti­o­nele waarden. Sommige systemen in deze zone werden hierdoor auto­ma­tisch uitge­scha­keld of opnieuw opgestart om over­ver­hit­ting te voorkomen.

Langdurige problemen

In sommige gevallen werden systemen onge­con­tro­leerd afge­scha­keld, wat het herstarten van deze systemen heeft vertraagd. Gebrui­kers van Virtual Machines, Cloud Services, Azure Backup, App Services\Web Apps, Azure Cache, Azure Monitor, Azure Functions, Time Series Insights, Stream Analytics, HDInsight, Data Factory en Azure Scheduler, Azure Site Recovery hadden hierdoor zeven uur lang met problemen te maken.

Microsoft benadrukt dat het incident geen impact heeft gehad om de ener­gie­voor­zie­ning van het data­center of de getroffen servers. Microsoft heeft verder onderhoud aan het brand­blus­sys­teem uitge­steld totdat duidelijk is waardoor het inert gas onbedoeld is vrijgekomen.