Strömavbrott

dec 14 2011

Så löste vi vårt elproblem

Nu är det dags att runda av och avsluta kapitlet om elproblemet som orsakade två stora avbrott hos oss föregående månad. Med fullt fungerande och väldigt kraftfulla batterier- och dieselaggregat är strömavbrott nu ett minne blott hos oss.

Så här gick det till:

Natten mellan torsdag-fredag förra veckan utförde vi ett planerat elarbete i våra serverhallar. Detta annonserades i förväg till våra kunder via e-post, vår hemsida, Twitter och Facebook. Arbetet planerades in mellan kl. 23:00 – 04:00, för att minimera påverkan av våra kunders tjänster och servrar.

Strax innan kl. 23:00 stängde vi av vårt brandlarm och inbrottslarm. Förutom våra egna tekniker så var även specialiserade elektriker på plats, tillsammans med personal från vårt elbolag Öresundskraft. Vi meddelade även vårt bevakningsföretag och stängde ned vårt eget övervakningssystem och våra backupservrar.

Kl. 23:00 påbörjades arbetet med att stänga av samtliga servrar och tjänster. Att stänga av en server handlar om mer än att bara trycka på en knapp. Om servern inte stängs ned ordentligt kan både hård- och mjukvara gå sönder. Det gäller dessutom att stänga ner samtliga tjänster i rätt ordning, för att undvika dataförlust.

Strax innan kl. 00:00 var samtliga servrar nedstängda. Allting dubbelkollades ordentligt, innan elförsörjningen till våra serverhallar stängdes av helt kl. 00:15. Därefter påbörjade elektrikerna och personalen från Öresundskraft arbetet med att åtgärda noll-felet som tidigare orsakat våra avbrott.

Kl. 00:34 var arbetet med noll-felet klart. Då kopplades strömmen på, tillsammans med våra batteriaggregat (UPS:er). Kl. 00:45 testade vi att bryta strömmen och UPS:erna gick igång precis som de ska. Därefter kopplade vi in vårt dieselaggregat och kl. 01:01 utförde vi ett fullständigt avbrottstest. UPS:erna startade, följt av dieselaggregatet.

Kl. 01:10 inleddes uppstart av samtliga servrar och tjänster. Några säkringar utlöstes, pga den mänskliga faktorn, men åtgärdades snabbt. Kl. 02:22 var allt uppe och vi utförde ett fullskaligt avbrottstest. UPS:erna startade precis som tidigt, följt av dieselaggregatet. Elproblemet är därmed garanterat löst.

Elektrikerna och personalen från Öresundskraft åkte därefter hem, medan våra egna tekniker kontrollerade så att allting fungerade ordentligt (och åtgärdade de servrar/tjänster som ännu inte fungerade). Våra tekniker assisterade även vår kundtjänst och besvarade frågor som inkom efter/i samband med elarbetet.

Som tidigare noterat så kommer vi att följa upp detta ordentligt och regelbundet kontrollera så att alla dessa säkerhetssystem fungerar som de ska. FS Data besitter en enormt kraftfull och kompetent infrastruktur, som alltid ska vara tillförlitligt.

Om/när det uppstår ett strömavbrott hos oss i framtiden – då kommer vi garanterat att vara säkra.

Till sist, här är några bilder från vårt elarbete:

dec 09 2011

Lite kort om nattens elarbete

Som tidigare annonserat så genomförde vi under natten till idag, mellan 23:00 – 04:00, ett ingrepp i elförsörjningen till våra serverhallar. Vi hade anledning att tro att våra tidigare strömavbrott, då befintliga batterier och dieselaggregat inte fungerade, berodde på ett jordfel.

Nattens arbete visade sig likaså vara väldigt lyckat. Vi hade ett 10-tal tekniker från oss själva på plats, tillsammans med specialiserade eltekniker och personal från vår elleverantör Öresundskraft. Arbetet påbörjades strax efter 23:00 och de flesta servrar och tjänster var åter fungerande igen vid 01:30.

Det misstänkta jordfelet lokaliserades och åtgärdades och hela uppsättningen av vår säkerhetsutrustning testades med lyckat resultat.

Vi kan därmed hävda att våra strömproblem är lösta, om än att vi fortsätter att övervaka, kontrollera och testa denna utrustning noga. Vid eventuella framtida strömavbrott ska våra batterier och dieselaggregat fungera och se till att inga servrar eller tjänster slutar att fungera.

Våra tekniker var på plats hela gårdagen, natten och halva dagen idag (för att följa upp, informera och se till att allt fungerade bra). Många av dem har nu klockat av efter 30+ timmar och vi kan inte tacka dem nog för deras arbete. Vår nya driftchef Jonas Björk, som har arbetat hos oss i knappt 1 1/2 månad, ska även ha en stor eloge för hans gedigna planering och insats. Riktigt bra gjort av er alla!

En mer ingående redovisning av nattens elarbete följer i början av nästa vecka, tillsammans med erfarenheter som vi har fått inför, under och efter arbetets gång. Vi har lyssnat noga på era kommentarer, både här och på Facebook och Twitter, och vi kommer vidta ytterligare åtgärder för att förbättra våra arbetsmetoder för såväl planerade som icke-planerade avbrott.

dec 02 2011

Viktig information: elarbete den 8/12

Som bekant så har vi ett problem med elförsörjningen i våra serverhallar. Våra egna drifttekniker och specialiserade eltekniker, samt elektriker från vårt elbolag Öresundskraft, har sedan en tid tillbaka felsökt detta och vi tror oss nu har funnit orsaken till problemet.

Som vi har skrivit tidigare så tyder omständigheterna på ett jordfel. Vi kommer därför att, i samarbete med våra elleverantörer, utföra en mindre ombyggnad av elförsörjningen till våra serverhallar. Ingreppet kommer att ske den 8/12, mellan 23:00 – 04:00, för att minimera påverkan på våra kunders tjänster.

I samband med elarbetet så kan dock vissa avbrott uppstå. Vi kommer givetvis att förbereda arbetet noga, koppla in reservkraft där det är möjligt och ha ordentlig bemanning av tekniker på plats.

Vi återkommer med en rapport så snart detta elarbete är genomfört.

nov 07 2011

Redovisning av dagens strömavbrott

Vi upplevde idag ett av de största avbrotten under FS Datas 14 år långa historia. Det var en extremt olycklig och oväntad händelse, något som vi hoppas (och kommer att arbeta för) att vi slipper vara med om igen. Här kommer en redovisning av dagens strömavbrott hos oss.

Strax innan kl 14:00 drabbades våra serverhallar i Helsingborg av ett omfattande strömavbrott. Detta skedde i samband med ett regelbundet test av våra dieselaggregat, ett test som vi har utfört ett flertal gånger tidigare utan några problem. Till varje dieseltest tar vi in en specialiserad tekniker som utför testerna.

Vi har inte fastställt exakt orsak till strömavbrottet än, då vi främst har fokuserat på att återställa samtliga servrar och tjänster, men den främsta teorin är att det uppstod ett jordfel som orsakade en kortslutning och slog ut all teknisk utrustning i våra serverhallar.

Så snart allt är återställt så kommer vi att undersöka detta, med de specialiserade serviceteknikerna, för att fastställa exakt orsak och åtgärda det permanent. Ett avbrott som detta ska absolut inte få ske hos oss igen.

När strömavbrottet skedde inställde sig samtliga tekniker och påbörjade arbetet med att kontrollera all utrustning och återställa alla servrar, tjänster och nätverksutrustning. När avbrottet uppstod så slutade vår hemsida och telefonväxel att fungera, så vi kommunicerade flitigt via både Twitter och Facebook.

Våra tekniker delade upp sig i lag och återställde våra olika typer av tjänster. Vi fick snabbt upp vår hemsida, telefonväxel och kundsystem, för att kunna bemöta och informera våra kunder. Våra Linux-baserade webbhotellsservrar kom likaså rätt snabbt online igen, tillsammans med co-location och dedikerade servrar samt VPS:er.

Om ni har en dedikerad server eller VPS hos oss som inte fungerar än, meddela då vår kundtjänst om detta.

Vårt Exchange-baserade e-postsystem återställdes därefter. Denna SAN-baserade lösning tog lite längre tid på sig, tack vare dess komplexitet, men ingen e-post ska ha gått förlorad under strömavbrott då inkommande e-postmeddelanden köades externt och levererades till vårt e-postsystem när detta var uppe igen.

Den sista stora servertjänsten att återställas var våra Windows-baserade webbhotellsservrar. Det berodde på att ett gemensamt iSCSI-gränssnitt gick sönder under strömavbrottet, vilket våra tekniker återställde via en backup. Denna operation var dessvärre rätt så tidskrävande.

I denna stund ska samtliga servrar och tjänster hos oss åter vara uppe. Våra drift- och supporttekniker har gjort en enormt stark insats här under dagen och kvällen. Samtliga ärenden som inkom under avbrottet är hanterade och besvarade. Om ni ändå upplever några felaktigheter så har vi personal på plats ikväll fram till kl. 22:00.

Som tidigare angivet så kommer vi att utföra en ordentlig intern utredning av dagens strömavbrott och både se till att fastställa och motverka dess orsak, samt vidta ytterligare åtgärder för att förbättra dialogen med våra kunder vid sådana här händelser.

Med absolut säkerhet så kommer framtida dieseltester att utföras nattetid här framöver. Givetvis med ordentlig information i förväg till våra kunder. Återigen, sådana här händelser ska absolut inte få inträffa. Vi vill be så hemskt mycket om ursäkt för detta.

Om ni har något att tillägga så får ni hemskt gärna kontakta vår kundtjänst eller lämna en kommentar här.