FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Viktig information: elarbete den 8/12

Som bekant så har vi ett problem med elförsörjningen i våra serverhallar. Våra egna drifttekniker och specialiserade eltekniker, samt elektriker från vårt elbolag Öresundskraft, har sedan en tid tillbaka felsökt detta och vi tror oss nu har funnit orsaken till problemet.

Som vi har skrivit tidigare så tyder omständigheterna på ett jordfel. Vi kommer därför att, i samarbete med våra elleverantörer, utföra en mindre ombyggnad av elförsörjningen till våra serverhallar. Ingreppet kommer att ske den 8/12, mellan 23:00 – 04:00, för att minimera påverkan på våra kunders tjänster.

I samband med elarbetet så kan dock vissa avbrott uppstå. Vi kommer givetvis att förbereda arbetet noga, koppla in reservkraft där det är möjligt och ha ordentlig bemanning av tekniker på plats.

Vi återkommer med en rapport så snart detta elarbete är genomfört.

Storm orsakade avbrott hos oss

Igår kväll drabbades nordvästra Skåne av en kraftig storm. Denna drog över vår hemstad, Helsingborg, och orsakade både översvämmingar och strömavbrott. I denna stund är ca 50 000 skånska hushåll fortfarande strömlösa. Dessvärre orsakade det även ett avbrott i vår serverhall.

Avbrottet var i princip identiskt med det som inträffade för knappt 3 veckor sedan. Det inleddes kl. 23:13 och inom knappt 10-15 minuter var ett stort antal tekniker på plats hos oss. Samtliga servrar var åter igång strax innan halv ett. Avbrottet varade lite mer än en timme.

Några tjänster kom igång lite senare här på morgonen och enskilda VPS:er, som vi inte har kontroll över, kan ännu vara nere. Vi vill därför be er kontrollera era tjänster och kontakta vår kundtjänst om något problem kvarstår.

Sedan vårt förra avbrott så har vi haft en dialog med våra elinstallatörer och vår elleverantör, Öresundskraft. Vi har sedan tidigare både kraftfulla UPS:er (batteribackup) och dieselaggregat installerade hos oss, som utan problem ska kunna hantera sådana här avbrott. Men av någon anledning så uppstår ett jordfel som slår ut denna utrustning istället för att aktivera den.

Vi har som sagt redan en intensiv dialog med våra leverantörer och det är något som nu ytterligare kommer att förstärkas. Det är på inget sätt acceptabelt att ett sådant här avbrott får uppstå igen. Vi gör vårt yttersta för att lösa detta, vi kommer att informera er vidare och vi beklagar djupt de avbrott som har uppstått.

Om ni har några frågor om detta, kontakta då gärna vår kundtjänst.

Redovisning av dagens strömavbrott

Vi upplevde idag ett av de största avbrotten under FS Datas 14 år långa historia. Det var en extremt olycklig och oväntad händelse, något som vi hoppas (och kommer att arbeta för) att vi slipper vara med om igen. Här kommer en redovisning av dagens strömavbrott hos oss.

Strax innan kl 14:00 drabbades våra serverhallar i Helsingborg av ett omfattande strömavbrott. Detta skedde i samband med ett regelbundet test av våra dieselaggregat, ett test som vi har utfört ett flertal gånger tidigare utan några problem. Till varje dieseltest tar vi in en specialiserad tekniker som utför testerna.

Vi har inte fastställt exakt orsak till strömavbrottet än, då vi främst har fokuserat på att återställa samtliga servrar och tjänster, men den främsta teorin är att det uppstod ett jordfel som orsakade en kortslutning och slog ut all teknisk utrustning i våra serverhallar.

Så snart allt är återställt så kommer vi att undersöka detta, med de specialiserade serviceteknikerna, för att fastställa exakt orsak och åtgärda det permanent. Ett avbrott som detta ska absolut inte få ske hos oss igen.

När strömavbrottet skedde inställde sig samtliga tekniker och påbörjade arbetet med att kontrollera all utrustning och återställa alla servrar, tjänster och nätverksutrustning. När avbrottet uppstod så slutade vår hemsida och telefonväxel att fungera, så vi kommunicerade flitigt via både Twitter och Facebook.

Våra tekniker delade upp sig i lag och återställde våra olika typer av tjänster. Vi fick snabbt upp vår hemsida, telefonväxel och kundsystem, för att kunna bemöta och informera våra kunder. Våra Linux-baserade webbhotellsservrar kom likaså rätt snabbt online igen, tillsammans med co-location och dedikerade servrar samt VPS:er.

Om ni har en dedikerad server eller VPS hos oss som inte fungerar än, meddela då vår kundtjänst om detta.

Vårt Exchange-baserade e-postsystem återställdes därefter. Denna SAN-baserade lösning tog lite längre tid på sig, tack vare dess komplexitet, men ingen e-post ska ha gått förlorad under strömavbrott då inkommande e-postmeddelanden köades externt och levererades till vårt e-postsystem när detta var uppe igen.

Den sista stora servertjänsten att återställas var våra Windows-baserade webbhotellsservrar. Det berodde på att ett gemensamt iSCSI-gränssnitt gick sönder under strömavbrottet, vilket våra tekniker återställde via en backup. Denna operation var dessvärre rätt så tidskrävande.

I denna stund ska samtliga servrar och tjänster hos oss åter vara uppe. Våra drift- och supporttekniker har gjort en enormt stark insats här under dagen och kvällen. Samtliga ärenden som inkom under avbrottet är hanterade och besvarade. Om ni ändå upplever några felaktigheter så har vi personal på plats ikväll fram till kl. 22:00.

Som tidigare angivet så kommer vi att utföra en ordentlig intern utredning av dagens strömavbrott och både se till att fastställa och motverka dess orsak, samt vidta ytterligare åtgärder för att förbättra dialogen med våra kunder vid sådana här händelser.

Med absolut säkerhet så kommer framtida dieseltester att utföras nattetid här framöver. Givetvis med ordentlig information i förväg till våra kunder. Återigen, sådana här händelser ska absolut inte få inträffa. Vi vill be så hemskt mycket om ursäkt för detta.

Om ni har något att tillägga så får ni hemskt gärna kontakta vår kundtjänst eller lämna en kommentar här.

Våra medarbetare: Andreas ”Kjelle” Hagberg

Vi inleder veckan med en fortsättning av vår följetong av medarbetarintervjuer. Denna gång är det Andreas Hagberg som står till svars. Andreas har varit med oss i hela 6 1/2 år och arbetat sig upp från supporttekniker till serverchef. Om ni har riktigt kluriga och kniviga serverfrågor har Andreas sannolikt svaren åt er.

– Som den veteran du är hos FS Data, vad är största skillnaden idag mot när du kom in?
Även om FS Data alltid har varit ett väldigt familjärt företag, innanför våra 4 väggar, så är det först på sistone som vi har vågat visa det. Transparensen och öppenheten är mycket större, vilket har skapat något av en nytändning för oss alla.

– Vad tycker du är roligast med att arbeta på FS Data?
Ingen dag är den andra lik och eftersom jag trivs med varierande arbetsuppgifter så passar det mig som handen i handsken! Givetvis förekommer det återkommande arbetsuppgifter, men överlag är det väldigt omväxlande. Det gillar jag skarpt.

– Hur tror du framtiden ser ut för oss?
Jag tror att vi kommer att ha en fortsatt hög organisk tillväxt av serverkunder samtidigt som vi växer fram som en stark molnleverantör. Även om vi inte pratar så mycket om molnet publikt än, så arbetar vi desto mer med det i våra serverhallar. Vänta och se ni bara.

– I vår förra intervju undrade Gabor varför du kallar dig själv och dina servrar för ”Kjell”?
Kjell är faktiskt inget konstigare än ett smeknamn. Det föddes när jag gick i årskurs 7 och satte sig så pass väl att jag än idag måste kalla mig för Kjell för att missförstånd inte ska uppstå hos vissa personer. Kjell sätter sin prägel på allt, på Twitter går jag t ex under namnet @kjellkod.

– Vad gör du annars, när du inte arbetar hos oss?
Jag har två döttrar, drygt 5 år respektive 3 månader gamla, som jag spenderar större delen av min fritid tillsammans med. Den tid som blir över får min sambo, mina servrar, datorspel, svampplockning och naturvetenskaplig facklitteratur för att nämna några saker.

– Berätta en hemlighet om FS Data!
Ett par Dell-skenor räddade vår takterass från en mindre brand i samband med en sommargrillning.

– Vem på företaget vill du ska bli intervjuad härnäst? Och vad vill du fråga denna person?
Jag skulle vilja lämna över facklan till den senaste vitamininjektionen på serveravdelningen, Henrik Andersén. Min fråga till honom är: Om du fick välja vilken typ av RAID som helst till din egen server, vilken skulle du välja och varför?

Med det tackar vi Andreas för några minuter av hans värdefulla tid. Att vara far till både servrar och småbarn är ingen enkel uppgift, men det är en uppgift som Andreas, förlåt, Kjell utför riktigt galant!

Näste man till rakning blir då Henrik Andersén, som till vardags arbetar med att hantera våra och våra kunders servrar. Vi får se hur pass väl han hanterar en intervju inom kort här i vår blogg. 😉

Installation av nya brandväggar påbörjas i morgon

Som vi har berättat tidigare så har vi en av branschens vassaste brandväggslösningar på väg in hos oss. Det räcker inte att vår tillgänglighet är i topp, våra tjänster i princip alltid fungera. Med en dubbel uppsättning av Juniper SRX3400 kommer vi att klara av det mesta.

Att sätta upp brandväggarna och planera för en så smärtfri (läs: ej märkbar) installation som möjligt är inget som sker i en handvändning, men nu är det äntligen dags att börja koppla in de nya brandväggarna.

Den första installationen av brandväggarna kommer att ske i morgon kl. 15:00. Det är ett hundratal kunder som berörs i det första skedet och övergången kommer att vara väldigt smidigt, med ett avbrott på knappt några minuter (om ens det).

Rent konkret så kommer vi att koppla om ett antal IP-adresser, under IP-serien 89.221.240.0/23, till Telia. Med Telia får vi ytterligare redundans via en till nätverksleverantör, samtidigt som vår trafikkapacitet tiodubblas.

Notera att denna första installation inte berör några webbhotellskunder, utan enbart kunder med egna servrar.

Allt är redan ordentligt testat, förberett och klart. Efter installationen kommer vi även att kontrollera samtliga IP-adresser noga. Om du berörs av installationen och upplever en längre störning, kontakta då gärna vår kundtjänst.

Vi har även information om brandväggsinstallationen under vår driftstatus, som uppdateras fortlöpande.