FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Redogörelse av e-poststörning v47

Förra veckan, vecka 47, upplevde vi en omfattande störning på våra e-posttjänster. Störningen påverkade samtliga kunder med e-post hos oss och pågick under så pass lång tid att vi vill redovisa lite mer ingående vad som hände och vad vi har gjort för att undvika en liknande störning här framöver.

När störningen var aktuell så redovisades detta även på vår driftstatussida, med fortlöpande uppdateringar.

Vad var det som hände?

I måndags förra veckan, vid lunchtid, upptäckte våra tekniker att SMTP-köerna (köerna med utgående/inkommande e-post) i vår Microsoft Server Exchange-miljö ökade i en ovanligt hög takt. SMTP-köerna är dock fördelade över ett flertal servrar hos oss, för redundans/lastbalansering, och köbildningen uppstod inte på alla servrar samtidigt. När en kund fick problem och försökte igen så fungerade det, vilket ”maskerade” störningen en aning.

Hur löste vi det hela?

Våra tekniker började felsöka köbildningen så snart vi upptäckte den. Genom att starta om respektive SMTP-tjänst (inte server, utan tjänst på server) så arbetades även köerna av på de servrar som påverkades av störningen. Våra tekniker arbetade oavbrutet genom natten mellan måndag och tisdag, dock utan att finna en lösning.

På tisdagen tog vi därför kontakt med Microsoft i USA, för att lösa denna störning. Deras Exchange-specialister kom in och felsökte med våra tekniker och efter närmare 20 timmar hittade vi orsaken till köbildningen. Det visade sig att störningen berodde på en odokumenterad funktion i Exchange Server.

Under onsdagen introducerade vi en lösning i vår Exchange Server-miljö och sedan dess är störningen helt över. Våra tekniker och Microsoft fortsatte att övervaka SMTP-köerna över helgen och till början denna vecka, för att snabbt kunna upptäcka eventuella fel. Nu är vi dock säkra på att denna störning är helt löst.

Hur påverkades våra kunder?

Inledningsvis berördes inte alla kunder, tack vare vår lastbalanserade SMTP-lösning. I takt med att flera SMTP-tjänster slutade fungera så påverkades dock i princip alla kunder. Våra tekniker minskade påverkan genom att starta om SMTP-tjänsterna, men störningen var ändå märkbar.

Den e-post som inte kunde skickas/tas emot under störningen köades på våra (och andra avsändande) servrar. När störningen upphörde (samt vid omstarter av SMTP-tjänsterna) så levererades e-posten igen.

Vad vi har har sett i våra serverloggar, som vi har undersökt väldigt noga, så har 99,99 % av all e-post, som berördes av denna störning, blivit levererad. Ett mindre antal e-postmeddelanden, som skickades exakt i samma sekund som en av SMTP-tjänsterna slutade fungera, blev dock korrupta och kunde inte levereras.

Även om bara ett fåtal kunder förlorade aktuell e-post så får vi givetvis beklaga detta. Vi gör allt i vår makt för att undvika sådana här händelser – med redundans, lastbalansering osv – och det är första gången sedan vi gick över till Exchange Server 2007 som vi har varit med om detta.

Hur går vi nu vidare?

Förutom att vi har implementerat en teknisk lösning, direkt från Microsoft, så har vi även infört en begränsning av storleken på bifogade filer i e-postmeddelanden. Orsaken till störningen var relaterad till väldigt stora bifogade filer (på flera GB) i e-posten, så vi gör nu detta för att vara helt på den säkra sidan.

Nu har vi en begränsning på max 50 MB för bifogade filer i e-postmeddelanden som skickas via våra e-posttjänster. Om en fil är större än så, då får avsändaren ett felmeddelande.

Vi har även, sedan början av året, arbetat med att ersätta nuvarande version av Exchange Server-hos oss (EX2007) med nya Exchange Server 2013 (EX2013). Efter mycket planering, utveckling och tester så är vi nu i slutfas av detta projekt.

Målsättningen är att vi ska gå över till EX2013 här i vinter.

Med EX2013 kommer vi även att introducera en helt ny tjänst, för våra kunder, som möjliggör enkel upp/nedladdning av väldigt stora filer. Man laddar bara upp sin stora fil och får en länk som skickas till mottagaren istället. Denna tjänst kommer att vara effektivare, säkrare och snabbare än att skicka väldigt stora filer via e-post.

Mer information om vårt arbete med EX2013 och dess introduktion hos oss följer i bloggen här framöver.

Om ni har några frågor om detta, lämna då gärna en kommentar här nedan.

Redovisning av nätverksstörning/avbrott

Igår kväll råkade vi ut för ett längre avbrott i vårt nätverk, som påverkade tillgängligheten för samtliga tjänster hos oss. På grund av dess omfattning så vill vi här redovisa exakt vad som hände och vad vi gör för att undvika ett likadant avbrott igen.

FS Data har en redundant nätverksanslutning, med två separata förbindelser, via Telia. Denna anslutning hanteras av två väldigt kraftfulla routrar, anslutna till vår redundanta brandväggslösning (två separata maskiner likaså), som automatiskt fördelar trafik dem emellan utan några avbrott.

För en tid sedan började vi notera vissa återkommande och eskalerande nätverksstörningar, sk. packet loss, med de anslutningar som vi idag har i våra brandväggar. Vi utförde en genomgående felsökning, konsulterade vår brandväggsleverantör och beställde nya anslutningar, som ankom här denna vecka.

För att eliminera nätverksstörningarna, till dess att de nya brandväggsanslutningarna var installerade, så valde vi att temporärt lägga om nätverket enbart mot Telias primär anslutning/router. De nya anslutningarna för brandväggarna installeras nästa vecka och vi har inte haft något oplanerat avbrott eller anslutningsbyten hos Telia under två års tid.

Sedan gjorde ”Murphys lag” sig påmind.

Igår kl. 17:30 kopplade Telia oplanerat om trafiken från vår primära anslutning/router till vår sekundära motsvarighet. Detta orsakade avbrott i vårt nätverk och våra tekniker ingrep omedelbart. Kl. 17:39 kopplades trafiken tillbaka, vilket åter gav oss en förbindelse, men kl. 17:44 återgick vi ännu en gång till den sekundära anslutningen/routern med tillhörande avbrott.

Utan vidare information från Telia fick våra tekniker ”kämpa i mörkret”. De kopplade om våra anslutningar ett flertal gånger, med omkonfiguration (och omstarter) av brandväggarna därtill. Efter mycket intensivt arbete lyckades vi till slut få till det och kl. 19:10 var nätverksstörningen/avbrottet helt över.

Vi vill givetvis inte lägga all skuld för detta avbrott på Telia. Den temporära omläggningen av nätverket bidrog även till att återställningen tog längre tid än nödvändigt. Vi har nu vidtagit åtgärder så att en eventuell liknande, oplanerad, omkoppling av Telia kommer kunna återställas avsevärt snabbare.

De nya brandväggsanslutningarna är som sagt på plats hos oss och de kommer att installeras, i samarbete med externa konsulter från vår brandväggsleverantör, här redan nästa vecka. Därefter kommer ett avbrott som detta inte att kunna uppstå igen.

Vi får avslutningsvis be så hemskt mycket om ursäkt för denna nätverksstörning/avbrott. Utöver tidigare nämnda nya anslutningar så har vi sedan en längre tid tillbaka arbetat med att förstärka och ytterligare säkra hela vår nätverksmiljö. Under hösten kommer vi bl a att kunna hantera IPv6 och anslutningar från fler leverantörer än Telia.

Vi gör allt i vår makt för att leverera så snabba, säkra och stabila tjänster som möjligt till våra kunder. Vår målsättning är att uppnå 100 % tillgänglighet i vår nätverksmiljö och det är ett mål som vi arbetar oavbrutet mot.

Om ni har några frågor eller funderingar om detta, lämna då gärna en kommentar här nedan.

Storm orsakade avbrott hos oss

Igår kväll drabbades nordvästra Skåne av en kraftig storm. Denna drog över vår hemstad, Helsingborg, och orsakade både översvämmingar och strömavbrott. I denna stund är ca 50 000 skånska hushåll fortfarande strömlösa. Dessvärre orsakade det även ett avbrott i vår serverhall.

Avbrottet var i princip identiskt med det som inträffade för knappt 3 veckor sedan. Det inleddes kl. 23:13 och inom knappt 10-15 minuter var ett stort antal tekniker på plats hos oss. Samtliga servrar var åter igång strax innan halv ett. Avbrottet varade lite mer än en timme.

Några tjänster kom igång lite senare här på morgonen och enskilda VPS:er, som vi inte har kontroll över, kan ännu vara nere. Vi vill därför be er kontrollera era tjänster och kontakta vår kundtjänst om något problem kvarstår.

Sedan vårt förra avbrott så har vi haft en dialog med våra elinstallatörer och vår elleverantör, Öresundskraft. Vi har sedan tidigare både kraftfulla UPS:er (batteribackup) och dieselaggregat installerade hos oss, som utan problem ska kunna hantera sådana här avbrott. Men av någon anledning så uppstår ett jordfel som slår ut denna utrustning istället för att aktivera den.

Vi har som sagt redan en intensiv dialog med våra leverantörer och det är något som nu ytterligare kommer att förstärkas. Det är på inget sätt acceptabelt att ett sådant här avbrott får uppstå igen. Vi gör vårt yttersta för att lösa detta, vi kommer att informera er vidare och vi beklagar djupt de avbrott som har uppstått.

Om ni har några frågor om detta, kontakta då gärna vår kundtjänst.

Redovisning av dagens strömavbrott

Vi upplevde idag ett av de största avbrotten under FS Datas 14 år långa historia. Det var en extremt olycklig och oväntad händelse, något som vi hoppas (och kommer att arbeta för) att vi slipper vara med om igen. Här kommer en redovisning av dagens strömavbrott hos oss.

Strax innan kl 14:00 drabbades våra serverhallar i Helsingborg av ett omfattande strömavbrott. Detta skedde i samband med ett regelbundet test av våra dieselaggregat, ett test som vi har utfört ett flertal gånger tidigare utan några problem. Till varje dieseltest tar vi in en specialiserad tekniker som utför testerna.

Vi har inte fastställt exakt orsak till strömavbrottet än, då vi främst har fokuserat på att återställa samtliga servrar och tjänster, men den främsta teorin är att det uppstod ett jordfel som orsakade en kortslutning och slog ut all teknisk utrustning i våra serverhallar.

Så snart allt är återställt så kommer vi att undersöka detta, med de specialiserade serviceteknikerna, för att fastställa exakt orsak och åtgärda det permanent. Ett avbrott som detta ska absolut inte få ske hos oss igen.

När strömavbrottet skedde inställde sig samtliga tekniker och påbörjade arbetet med att kontrollera all utrustning och återställa alla servrar, tjänster och nätverksutrustning. När avbrottet uppstod så slutade vår hemsida och telefonväxel att fungera, så vi kommunicerade flitigt via både Twitter och Facebook.

Våra tekniker delade upp sig i lag och återställde våra olika typer av tjänster. Vi fick snabbt upp vår hemsida, telefonväxel och kundsystem, för att kunna bemöta och informera våra kunder. Våra Linux-baserade webbhotellsservrar kom likaså rätt snabbt online igen, tillsammans med co-location och dedikerade servrar samt VPS:er.

Om ni har en dedikerad server eller VPS hos oss som inte fungerar än, meddela då vår kundtjänst om detta.

Vårt Exchange-baserade e-postsystem återställdes därefter. Denna SAN-baserade lösning tog lite längre tid på sig, tack vare dess komplexitet, men ingen e-post ska ha gått förlorad under strömavbrott då inkommande e-postmeddelanden köades externt och levererades till vårt e-postsystem när detta var uppe igen.

Den sista stora servertjänsten att återställas var våra Windows-baserade webbhotellsservrar. Det berodde på att ett gemensamt iSCSI-gränssnitt gick sönder under strömavbrottet, vilket våra tekniker återställde via en backup. Denna operation var dessvärre rätt så tidskrävande.

I denna stund ska samtliga servrar och tjänster hos oss åter vara uppe. Våra drift- och supporttekniker har gjort en enormt stark insats här under dagen och kvällen. Samtliga ärenden som inkom under avbrottet är hanterade och besvarade. Om ni ändå upplever några felaktigheter så har vi personal på plats ikväll fram till kl. 22:00.

Som tidigare angivet så kommer vi att utföra en ordentlig intern utredning av dagens strömavbrott och både se till att fastställa och motverka dess orsak, samt vidta ytterligare åtgärder för att förbättra dialogen med våra kunder vid sådana här händelser.

Med absolut säkerhet så kommer framtida dieseltester att utföras nattetid här framöver. Givetvis med ordentlig information i förväg till våra kunder. Återigen, sådana här händelser ska absolut inte få inträffa. Vi vill be så hemskt mycket om ursäkt för detta.

Om ni har något att tillägga så får ni hemskt gärna kontakta vår kundtjänst eller lämna en kommentar här.

Redovisning av spamattack

Förra veckan drabbades ett större antal kunder hos oss, samt flera andra e-postleverantörer, av en omfattande spamattack. Attacken bestod av e-postmeddelanden med ett erbjudande om extra inkomst, som var adresserade från e-postadresser som hanteras av våra e-postservrar.

Meddelandena skickades dock inte ut av våra e-postservrar, utan från andra e-postservrar, enligt ett beteende som på engelska kallas för email spoofing (e-postförfalskning).

Det här beteendet är extremt svårt att begränsa, då vi som leverantör inte kan stoppa attacken. Det är istället upp till de avsändande e-postservrarna att stoppa och förhindra det hela. Många gånger är ägarna till dessa servrar inte medvetna om det hela, då sådana här attacker oftast uppstår pga säkerhetshål på servrarna

Nu har denna spamattack upphört och e-postmeddelandena som skickades ut innehöll inga farliga bilagor i form av virus, trojaner eller liknande. Våra e-postservrar är likaså uppdaterade och säkrade så att de inte kan missbrukas till sådana här spamattacker.

Vi vill oavsett beklaga det inträffade och vi hoppas att ni har förståelse för denna situation. Om ni drabbades av denna spamattack, så att era e-postadresser falskt användes för utskick, så får ni gärna hänvisa till detta inlägg. Lämna gärna en kommentar eller kontakta vår kundtjänst om ni har ytterligare frågor om detta.