FS Data

FS Data - webbhotell, domännamn, e-post, servrar

En statusrapport om vår e-postmiljö

Som ni kanske har märkt så har vi haft en del störningar i vår e-postmiljö den senaste veckan. Vi vill lite kort berätta vad som har hänt, vad vi har gjort för att lösa dessa störningar samt de framtida planerna för vår e-postmiljö.

Bakgrund:

Vår e-postmiljö är som bekant en av världens största Microsoft Exchange Server-lösningar. Det är en klustrad, lastbalanserad och extremt kompetent plattform. Vår Exchange-lösning i sig har det inte varit några problem med.

Det som istället orsakade störningarna i vår e-postmiljö, det var vår nya lagringslösning.

Dell Compellent är en otroligt kraftfull och snabb lagringslösning. För att hantera och leverera e-posten så snabbt som möjligt så har Compellent flera specialfunktioner. En av dessa funktioner innebär att äldre e-post (arkiverad e-post, som inte kontrolleras ofta) placeras på vanliga diskar, medan aktuell e-post prioriteras och placeras på extra snabba diskar.

Störningar:

I fredags förra veckan uppstod det dock ett fel med denna funktion. Efter ett försök till optimering så förlorades den interna databas som håller reda på äldre och aktuell e-post. Det ledde till att samtliga e-postmeddelanden placeras på samma typ av diskar, vilket orsakade extra belastning och problem med våra e-posttjänster.

Våra tekniker upptäckte detta snabbt och började omedelbart återskapa databasen ifråga. Databasen hanteras dock på ett särskilt sätt av Compellent, vilket innebär att systemet behöver ”lära sig på nytt” att särskilja aktuell och äldre e-post. Då vi har över 50 000 e-postkonton så är detta en process som tar tid.

Vi har under dessa störningar haft kontakt med både Dell och externa Compellent-specialister. Flera av våra egna tekniker har även arbetat oavbrutet flera dagar i sträck. Allt för att våra e-posttjänster åter ska fungera lika bra som vanligt.

När vi hade börjat återhämta oss efter incidenten med lagringslösningen för vår e-post så blev vi plötsligt utsatta för en distribuerad överbelastningsattack (DDoS), riktad mot vår e-postmiljö. Målet för attacken var våra inkommande e-postservrar och det resulterade i att det blev omöjligt att ansluta till våra e-posttjänster.

Denna attack stoppades av våra tekniker, med hjälp av våra brandväggar, men det innebar ändå en fördröjning i återställningen av vår e-postmiljö. Notera dock att ingen e-post för våra kunder har gått förlorad, vare sig under störningen i lagringslösningen eller under överbelastningsattacken.

Aktuell status:

Vår e-postmiljö, med samtliga e-posttjänster, fungerar sedan igår kväll lika bra som vanligt. Vi kontrollerar nu denna miljö lite extra, men vi kan inte se någon orsak till liknande störningar här framöver.

Åtgärder:

Vi har redan vidtagit åtgärder för att förhindra en framtida förlust av databasen i Compellent. Detta arbete har utförts i direkt samråd med Dell. Vi har även säkrat ett antal andra komponenter i vår lagringslösning, så att liknande händelser inte ska kunna ske igen.

När det gäller överbelastningsattacken så har vi utökat regelverken i våra brandväggar samt ytterligare isolerat vår e-postmiljö. När vi attackerades så påverkades även vår telefonväxel. Framtida attacker kommer stoppas ännu snabbare och inte kunna påverka andra delar av vår verksamhet.

Avslutningsvis:

Vi vill givetvis be så väldigt mycket om ursäkt för de störningar som har förekommit i vår e-postmiljö. Vår målsättning är att erbjuda våra kunder en så bra, snabb och säker e-posttjänst som möjligt. Det är ett mål som vi fortsätter arbeta mot, oavbrutet.

Planerat servicefönster, tisdag 4/9

Som vi har berättat tidigare här i vår blogg så har vi något som vi kallar för servicefönster på FS Data, den första tisdagen varje månad fr om kl. 23:00. Under vårt servicefönster utför vi planerade uppdateringar i vår servermiljö. Inför varje servicefönster lägger vi även ut information i förväg på vår driftstatussida.

Tisdagen den 4/9 kommer vi ha ytterligare ett servicefönster. Denna gång kommer vi dock att utföra en lite mer omfattande uppdatering, som berör tillgängligheten för samtliga tjänster hos oss, så vi vill därför berätta om det här i vår blogg.

Till nästa servicefönster planerar vi nämligen att installera en ny modul i vår huvudswitch (som ansluter våra serverhallar till Internet). Detta sker för att ytterligare uppgradera kapaciteten i våra externa förbindelser.

Installationen påbörjas strax efter kl. 23:00 och den kommer att pågå i 5-10 minuter. Under denna tid kommer inga tjänster hos oss att vara tillgängliga. Samtliga servrar kommer att fortsätta fungera (och vara uppkopplade) i vårt interna nätverk, men den externa förbindelsen kommer att vara helt bruten.

Vi har alltid ett flertal tekniker på plats under våra servicefönster, som snabbt kan vidta nödvändiga åtgärder vid behov. Ytterligare information om uppdateringarna i vårt nästa servicefönster följer inom kort på vår driftstatussida.

En uppdatering om helgens DDoS-attacker

Under helgen som gick så blev vi, vid ett flertal tillfällen mellan den 29:e april och 1:a maj, utsatta för ett antal väldigt kraftfulla överbelastningsattacker, sk. DDoS-attacker. Samtliga attacker uppmärksammades och åtgärdades av våra jourgörande tekniker, men de påverkade ändå tillgängligheten och svarstiderna i vårt nätverk negativt.

Nu har vi sedan en tid tillbaka en uppsättning med helt nya, redundanta och lastbalanserade brandväggar från Juniper. Det är en av marknadens mest kraftfulla lösningar, som bl a erbjuder automatiskt skydd mot sådana här attacker.

Så varför påverkades vi då av helgens överbelastningsattacker?

Det berodde på att de automatiska skyddsfunktionerna för sådana här attacker inte var aktiverade i våra brandväggar. Detta då vi först har velat säkerställa funktionaliteten i vårt nya nätverk, innan dessa automatiska funktioner aktiverades. Samtliga funktioner har varit manuellt tillgängliga (och användes för att stoppa helgens attacker).

Nu har vi dock, sedan lite tidigare idag, aktiverat dessa automatiska skyddsfunktioner. Därigenom ska liknande attacker stoppas desto snabbare här framöver. Vi får beklaga de störningar som uppstod i helg och vi garanterar er att vi gör vårt yttersta för att erbjuda våra kunder så snabba, stabila och säkra tjänster som möjligt.

Planerat byte av lagringslösning för våra e-posttjänster

Arbetet med att uppgradera och förbättra vår tekniska miljö fortsätter, både natt och dag (eller ja, främst nattetid). Den senaste tiden har vi uppdaterat samtliga webbservrar hos oss och nu har turen kommit till vårt kära e-postsystem. Nu ska vi byta lagringsmiljö för vår klustrade och lastbalanserade Microsoft Exchange Server-lösning.

FS Data var väldigt tidigt ute med att erbjuda e-post baserat på Microsoft Exchange och vi har idag en av världens största Exchange-installationer, med närmare 50 000 aktiva e-postkonton. Denna installation är redan väldigt optimerad, säker och stabil men det går ändå alltid att göra saker ännu bättre.

Vi byter därför från en SAN-baserad lösning från HP till en lösning som baseras på Dell Compellent. Det är likaså en SAN-baserad lösning, om än med mycket större flexibilitet, bättre prestanda och snabbare expansionsmöjligheter.

Dell Compellent ger oss möjlighet att extremt snabbt utöka utrymmet i våra e-posttjänster. Mängden data (e-postmeddelanden, kalendrar, uppgifter, dokument osv) som vi kommer kunna hantera via Dell Compellent är snudd på obegränsad.

Rent funktionsmässigt sett så kommer inga förändringar att uppstå i våra e-posttjänster.

Med Dell Compellent kommer vi även att upprätta en extern Disaster Recovery-site, som gör det möjligt för oss att omedelbart återställa Microsoft Exchange Server och all e-post om en allvarlig incident inträffar. Vi har sedan tidigare externa backuper, men det här blir en ännu mer säker och smidig lösning.

Bytet av lagringslösning kommer att påbörjas den 9:e maj. Arbetet kommer att ske nattetid (från ca kl 23:00), för att minimera påverkan på våra kunders e-posttjänster. Det kan alltjämt uppstå avbrott (dock inte förlust av e-post, då dessa köas för senare leverans på andra servrar hos oss) under arbetets gång.

Vi kommer givetvis att informera om förloppet under migrering på vår driftstatussida. Om ni har några frågor om detta, kontakta då gärna vår kundtjänst eller lämna en kommentar här.

Några rader om #betnerfyra

Den svenska ståuppkomikern Magnus Betnér har under flera års tid varit kund hos oss på FS Data. Med ett vanligt webbhotellspaket hos oss så har vi hanterat hans populära och välbesökta hemsida och blogg, med videos, podcasts och mycket mer.

För ett par veckor sedan fick vi en förfrågan om att tillhandahålla en teknisk lösning för en hel ståuppshow, som Magnus ville sälja direkt på sin hemsida utan några mellanhänder. Han ville göra en svensk motsvarighet till det som Louis CK gjorde för en tid sedan.

Vi tyckte det lät som en strålande idé. Flera av oss hade köpt showen hos Louis CK och även om ingenting liknande tidigare har utförts i Sverige så ville vi vara med och bidra till denna nya och spännande distributionsform.

Igår kväll kl. 18:00 släppte Magnus Betnér sin show.

Inledningsvis gick det väldigt bra, men allt eftersom kvällen gick så uppstod det långa laddningstider. Detta orsakade även en sk. ”twitterstorm”, då Magnus har närmare 75 tusen förväntansfulla följare på Twitter. Till slut flyttades nedladdningslösningen till en annan leverantör.

Tack vare denna ”twitterstorm”, där många falska och felaktiga uppgifter tyvärr även cirkulerade, så vill vi lite kort förklara exakt vad som hände, på den tekniska sidan, igår kväll.

Förutsättningar

Enligt de uppskattningar vi fick så skulle ståuppshowen vara ca 1 GB stor, med 10-50 000 nedladdningar det första halvåret. Det kunde inledningsvis bli en väldigt stor efterfrågan, med uppåt 10-20 000 nedladdningar redan den första helgen.

Det här var en lösning som krävde mer än ett vanligt webbhotellspaket. Våra tekniker räknade på de uppskattningar som vi hade fått, vi diskuterade det hela internt och vi beslutade oss sedan för att erbjuda Magnus en kostnadsfri lösning för det hela.

Rent tekniskt sett så satte vi upp en klustrad och lastbalanserad serverlösning, bestående av 4 st servrar, enbart för att hantera detta. Vi reserverade likaså en kapacitet på 500 Mbit/s för nedladdningarna av showen.

Med de uppskattningar vi hade fått så skulle detta innebära att man kunde ladda ner ståuppshowen med hastigheter mellan 1-5 MBit/s, även om efterfrågan skulle bli väldigt hög (10-20 000 nedladdningar redan den första helgen).

Resultat

Responsen på Magnus initiativ var över all förväntan. 10 000-tals besökare strömmade in till hans hemsida och antalet nedladdningar blev snabbt fyrsiffrigt. På serversidan var det inga som helst problem. Serverlösningen hanterade och levererade allt utan att svettas.

Men trafiken räckte inte till.

De högsta uppskattningarna hade överträffats med råge och trots att vi dubblerade kapaciteten så var det inte tillräckligt. Det antal nedladdningar som skulle ta 3-4 dagar att uppnå såg ut att uppnås på knappt 24 timmar. När nedladdningarna var som mest intensiva så hade vi behövt ca 5 Gbit/s för att kunna tillgodose efterfrågan.

Våra tekniker gjorde verkligen allt i sin makt för att ytterligare utöka trafiken, men det var tyvärr inte tillräckligt.

Sammanfattning

Det är först och främst väldigt beklagligt att vi inte lyckades leverera tillräcklig kapacitet för alla nedladdningar igår kväll. Våra tekniker arbetade otroligt hårt, både innan och under denna lansering. Vi levererade det vi hade lovat och mer därtill, men det var inte nog.

Det här var en väldigt annorlunda upplevelse för oss. I vanliga fall utnyttjar våra kunder sammanlagt knappt en tiondel av denna trafik i snitt till sina tjänster hos oss. Även om trafiken var maximal så lyckades vi, tack vare vår nya brandväggsuppsättning, ändå minimera påverkan på våra övriga kunder.

Med facit i hand så borde vi ha gjort två saker annorlunda:

1. Vi borde ha ”antagit det värsta” och förberett oss på 10 gånger så mycket trafik som de uppskattningar vi fick. Även om vi dubblerade den utlovade kapaciteten så var vi inte tillräckligt snabba med att ytterligare utöka trafiken. När den värsta belastningen var över så lämnades vi för en annan leverantör.

2. Vi borde ha föreslagit och satt upp en distribuerad nedladdningslösning (torrent-tracker). Detta diskuterades internt innan vi la fram vårt förslag, men kom inte med pga tidsbrist. Det hade avlastat vår kapacitet och möjliggjort säker nedladdning oberoende av oss.

I slutändan så var detta en värdefull, om än kostsam, lärdom för oss. Till följd av detta så kommer vi, även om vi egentligen inte har ett allmänt behov av det, att bättre undersöka våra möjligheter till snabb utökning av vår trafikkapacitet. På samma sätt som vi har investerat kraftigt i vårt interna nätverk och servermiljö så ska vi även se över våra externa förbindelser.

Avslutningsvis

Sist men inte minst, se nu till att köpa och ladda ned Magnus Betnérs nya ståuppshow. För endast 49 kr får ni en helt underbar föreställning med en av Sveriges absolut främsta (och vassaste) komiker. Så var med och stöd Magnus utmärkta initiativ idag!