FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Förbättringar i vår hemsidemiljö

FS Data förbättras hela tidenFS Data är ett webbhotell och serverleverantör som historiskt sett har varit synonymt med hög kvalitet och god tillgänglighet. Våra servrar och tjänster har fungerat bättre, snabbare och säkrare än många andra. Det är något som vi arbetat aktivt med, som vi har varit stolta över och som våra kunder givetvis har uppskattat.

Den senaste tiden har några av våra tjänster dock inte levt upp till de höga krav och förväntningar som vi har. Vi har haft störningar i den tekniska hemsidemiljön för våra webbhotellskunder. Det har orsakat avbrott och högre laddningstider för våra kunders hemsidor.

Det här är något som vi hanterar med högsta möjliga prioritet. Våra kunders hemsidor och övriga tjänster måste fungera perfekt. Här är en redogörelse av de problem/orsaker vi ser i denna servermiljö, med information om de åtgärder som vi just nu vidtar.

– Hackade hemsidor. Den främsta orsaken till avbrott och störningar i vår hemsidemiljö är hackade hemsidor. Även om vi har väldigt kompetenta brandväggar och automatiskt kontrollerar våra kunders hemsidor så har vi alltjämt ett stort antal kunder med hackade hemsidor.

Att hemsidor hackas beror allt som oftast på att man använder en färdig lösning, såsom WordPress eller Joomla, och inte uppdaterar denna ordentligt (både lösningen i sig och tillhörande teman/tillägg). När en hemsida hackas så tas den ofta över och uppgår i ett nätverk med sidor som utför olika uppgifter (t ex hackar andra hemsidor). Detta kan vara väldigt resurskrävande.

För att motverka dessa hackade hemsidor så har vi dedikerade tekniker som enbart arbetar med att identifiera och meddela berörda kunder. På en vecka har vi fått ner antal hackade filer (inte hemsidor, utan filer under hemsidor) från ca 20 000 till ca 10 000. Denna manuella process kommer vi fortsatt prioritera, även efter att nuvarande hackade hemsidor/filer är borta.

– Förbättrad kundisolering. För våra webbservrar har vi sedan tidigare en teknisk lösning där vi isolerar våra kunder från varandra, så de ska kunna ha så liten åverkan som möjligt på övriga kunders hemsidor och tjänster. Samt att vi ska kunna kontrollera och hantera våra serverresurser ordentligt.

Den lösning vi har sedan tidigare har dock inte riktigt hanterat isoleringen så snabbt och bra som vi önskar. Vi har därför en ny och förbättrad lösning på detta, som installerats på ett antal webbservrar med väldigt goda resultat. Den nya kundisoleringen fungerar och hjälper våra tekniker att stabilisera vår hemsidemiljö.

– Kraftigare hårdvara. Den nya kundisoleringen kräver mer/bättre hårdvara och vi har därför köpt in ett flertal nya servrar för detta ändamål. De nya servrarna introduceras fortlöpande i vår hemsidemiljö de närmaste veckorna. Denna nya hårdvara är givetvis dimensionerad för att kunna hantera mycket mer än vad vi egentligen behöver idag. Allt för att säkerställa vår kvalitet.

Vi gör vårt yttersta för att säkerställa kvaliten och tillgängligheten för våra servrar och tjänster. Vi ska – och kommer – bli mycket bättre här framöver.

Lämna gärna en kommentar om du har generella frågor om detta. För frågor rörande din hemsida, kontakta vår kundtjänst.

Om senaste tidens DDoS-attacker

Vi har under två helger i rad blivit utsatta för extremt kraftfulla DDoS-attacker (distribuerade överbelastningsattacker). Dessa attacker har påbörjats fredag kväll, för att återkomma med oregelbundna intervaller under helgen. Attackerna har främst varit riktade mot fsdata.se men även andra (slumpmässigt utvalda) servrar hos oss blivit utsatta för dessa attacker.

Att vi utsätts för DDoS-attacker är inte ovanligt. Vi har sedan tidigare en av marknadens mest kompetenta och kraftfulla brandväggslösningar, som stoppat 1 000-tals DDoS-attacker det senaste halvåret utan att våra kunder har lagt märke till detta.

De DDoS-attacker som vi har upplevt på sistone har dock varit 100-tals gånger kraftigare och mer elakt utförda än tidigare. Det är likaså första gången som fsdata.se har varit måltavlan för sådana här attacker hos oss. Någon är väldigt tydligt ute efter att skada FS Data.

Samtliga attacker har avstyrts med hjälp av vår Internetleverantör Telia. Vi kan inte gå in på exakta detaljer kring hur attackerna stoppas, men i samarbete med Telia så har attackerna hindrats från att nå vårt nätverk och fortsatt påverka våra tjänster.

För att finna en permanent lösning och skydd mot dessa extrema attacker så har vi sedan attackerna bröt ut haft en intensiv dialog med Telia om utökat skydd hos dem. Vi är i slutfas av detta arbete och vi hoppas kunna ha en riktig lösning på plats inom kort.

Vi vill givetvis beklaga att dessa attacker har påverkat tillgängligheten för våra kunders tjänster. Attackerna skadar och kostar oss väldigt mycket. Att lösa detta har högsta möjliga prioritet hos oss.

I samband med dessa attacker så har vi försökt att informera våra kunder så gott som möjligt. Under helgen som gick så var vår uppdatering av Facebook och Twitter bristfällig. Vi får be om ursäkt för det. Nya rutiner har upprättats för att informationen alltid ska komma ut snabbt överallt.

Vår tekniska jour är bemannad och redo att agera 24/7 om/när vi utsätts för en DDoS-attack. Vi har ett väldigt gott samarbete med Telia och om vår egen driftstatus inte är tillgänglig så informerar vi alltid så gott vi kan på Facebook och Twitter. Vi har även påbörjat en process för att lägga vår driftstatus externt, så att den är tillgänglig även om vårt nätverk inte fungerar.

Vi vill verkligen försäkra er om att vi gör vårt allra yttersta för att lösa situationen med dessa extrema DDoS-attacker så snabbt och bra som möjligt. Vi hoppas att ni har förståelse för detta. Om ni har ytterligare frågor om dessa attacker, kontakta då gärna vår kundtjänst.

En statusrapport om vår e-postmiljö

Som ni kanske har märkt så har vi haft en del störningar i vår e-postmiljö den senaste veckan. Vi vill lite kort berätta vad som har hänt, vad vi har gjort för att lösa dessa störningar samt de framtida planerna för vår e-postmiljö.

Bakgrund:

Vår e-postmiljö är som bekant en av världens största Microsoft Exchange Server-lösningar. Det är en klustrad, lastbalanserad och extremt kompetent plattform. Vår Exchange-lösning i sig har det inte varit några problem med.

Det som istället orsakade störningarna i vår e-postmiljö, det var vår nya lagringslösning.

Dell Compellent är en otroligt kraftfull och snabb lagringslösning. För att hantera och leverera e-posten så snabbt som möjligt så har Compellent flera specialfunktioner. En av dessa funktioner innebär att äldre e-post (arkiverad e-post, som inte kontrolleras ofta) placeras på vanliga diskar, medan aktuell e-post prioriteras och placeras på extra snabba diskar.

Störningar:

I fredags förra veckan uppstod det dock ett fel med denna funktion. Efter ett försök till optimering så förlorades den interna databas som håller reda på äldre och aktuell e-post. Det ledde till att samtliga e-postmeddelanden placeras på samma typ av diskar, vilket orsakade extra belastning och problem med våra e-posttjänster.

Våra tekniker upptäckte detta snabbt och började omedelbart återskapa databasen ifråga. Databasen hanteras dock på ett särskilt sätt av Compellent, vilket innebär att systemet behöver ”lära sig på nytt” att särskilja aktuell och äldre e-post. Då vi har över 50 000 e-postkonton så är detta en process som tar tid.

Vi har under dessa störningar haft kontakt med både Dell och externa Compellent-specialister. Flera av våra egna tekniker har även arbetat oavbrutet flera dagar i sträck. Allt för att våra e-posttjänster åter ska fungera lika bra som vanligt.

När vi hade börjat återhämta oss efter incidenten med lagringslösningen för vår e-post så blev vi plötsligt utsatta för en distribuerad överbelastningsattack (DDoS), riktad mot vår e-postmiljö. Målet för attacken var våra inkommande e-postservrar och det resulterade i att det blev omöjligt att ansluta till våra e-posttjänster.

Denna attack stoppades av våra tekniker, med hjälp av våra brandväggar, men det innebar ändå en fördröjning i återställningen av vår e-postmiljö. Notera dock att ingen e-post för våra kunder har gått förlorad, vare sig under störningen i lagringslösningen eller under överbelastningsattacken.

Aktuell status:

Vår e-postmiljö, med samtliga e-posttjänster, fungerar sedan igår kväll lika bra som vanligt. Vi kontrollerar nu denna miljö lite extra, men vi kan inte se någon orsak till liknande störningar här framöver.

Åtgärder:

Vi har redan vidtagit åtgärder för att förhindra en framtida förlust av databasen i Compellent. Detta arbete har utförts i direkt samråd med Dell. Vi har även säkrat ett antal andra komponenter i vår lagringslösning, så att liknande händelser inte ska kunna ske igen.

När det gäller överbelastningsattacken så har vi utökat regelverken i våra brandväggar samt ytterligare isolerat vår e-postmiljö. När vi attackerades så påverkades även vår telefonväxel. Framtida attacker kommer stoppas ännu snabbare och inte kunna påverka andra delar av vår verksamhet.

Avslutningsvis:

Vi vill givetvis be så väldigt mycket om ursäkt för de störningar som har förekommit i vår e-postmiljö. Vår målsättning är att erbjuda våra kunder en så bra, snabb och säker e-posttjänst som möjligt. Det är ett mål som vi fortsätter arbeta mot, oavbrutet.

Några rader om #betnerfyra

Den svenska ståuppkomikern Magnus Betnér har under flera års tid varit kund hos oss på FS Data. Med ett vanligt webbhotellspaket hos oss så har vi hanterat hans populära och välbesökta hemsida och blogg, med videos, podcasts och mycket mer.

För ett par veckor sedan fick vi en förfrågan om att tillhandahålla en teknisk lösning för en hel ståuppshow, som Magnus ville sälja direkt på sin hemsida utan några mellanhänder. Han ville göra en svensk motsvarighet till det som Louis CK gjorde för en tid sedan.

Vi tyckte det lät som en strålande idé. Flera av oss hade köpt showen hos Louis CK och även om ingenting liknande tidigare har utförts i Sverige så ville vi vara med och bidra till denna nya och spännande distributionsform.

Igår kväll kl. 18:00 släppte Magnus Betnér sin show.

Inledningsvis gick det väldigt bra, men allt eftersom kvällen gick så uppstod det långa laddningstider. Detta orsakade även en sk. ”twitterstorm”, då Magnus har närmare 75 tusen förväntansfulla följare på Twitter. Till slut flyttades nedladdningslösningen till en annan leverantör.

Tack vare denna ”twitterstorm”, där många falska och felaktiga uppgifter tyvärr även cirkulerade, så vill vi lite kort förklara exakt vad som hände, på den tekniska sidan, igår kväll.

Förutsättningar

Enligt de uppskattningar vi fick så skulle ståuppshowen vara ca 1 GB stor, med 10-50 000 nedladdningar det första halvåret. Det kunde inledningsvis bli en väldigt stor efterfrågan, med uppåt 10-20 000 nedladdningar redan den första helgen.

Det här var en lösning som krävde mer än ett vanligt webbhotellspaket. Våra tekniker räknade på de uppskattningar som vi hade fått, vi diskuterade det hela internt och vi beslutade oss sedan för att erbjuda Magnus en kostnadsfri lösning för det hela.

Rent tekniskt sett så satte vi upp en klustrad och lastbalanserad serverlösning, bestående av 4 st servrar, enbart för att hantera detta. Vi reserverade likaså en kapacitet på 500 Mbit/s för nedladdningarna av showen.

Med de uppskattningar vi hade fått så skulle detta innebära att man kunde ladda ner ståuppshowen med hastigheter mellan 1-5 MBit/s, även om efterfrågan skulle bli väldigt hög (10-20 000 nedladdningar redan den första helgen).

Resultat

Responsen på Magnus initiativ var över all förväntan. 10 000-tals besökare strömmade in till hans hemsida och antalet nedladdningar blev snabbt fyrsiffrigt. På serversidan var det inga som helst problem. Serverlösningen hanterade och levererade allt utan att svettas.

Men trafiken räckte inte till.

De högsta uppskattningarna hade överträffats med råge och trots att vi dubblerade kapaciteten så var det inte tillräckligt. Det antal nedladdningar som skulle ta 3-4 dagar att uppnå såg ut att uppnås på knappt 24 timmar. När nedladdningarna var som mest intensiva så hade vi behövt ca 5 Gbit/s för att kunna tillgodose efterfrågan.

Våra tekniker gjorde verkligen allt i sin makt för att ytterligare utöka trafiken, men det var tyvärr inte tillräckligt.

Sammanfattning

Det är först och främst väldigt beklagligt att vi inte lyckades leverera tillräcklig kapacitet för alla nedladdningar igår kväll. Våra tekniker arbetade otroligt hårt, både innan och under denna lansering. Vi levererade det vi hade lovat och mer därtill, men det var inte nog.

Det här var en väldigt annorlunda upplevelse för oss. I vanliga fall utnyttjar våra kunder sammanlagt knappt en tiondel av denna trafik i snitt till sina tjänster hos oss. Även om trafiken var maximal så lyckades vi, tack vare vår nya brandväggsuppsättning, ändå minimera påverkan på våra övriga kunder.

Med facit i hand så borde vi ha gjort två saker annorlunda:

1. Vi borde ha ”antagit det värsta” och förberett oss på 10 gånger så mycket trafik som de uppskattningar vi fick. Även om vi dubblerade den utlovade kapaciteten så var vi inte tillräckligt snabba med att ytterligare utöka trafiken. När den värsta belastningen var över så lämnades vi för en annan leverantör.

2. Vi borde ha föreslagit och satt upp en distribuerad nedladdningslösning (torrent-tracker). Detta diskuterades internt innan vi la fram vårt förslag, men kom inte med pga tidsbrist. Det hade avlastat vår kapacitet och möjliggjort säker nedladdning oberoende av oss.

I slutändan så var detta en värdefull, om än kostsam, lärdom för oss. Till följd av detta så kommer vi, även om vi egentligen inte har ett allmänt behov av det, att bättre undersöka våra möjligheter till snabb utökning av vår trafikkapacitet. På samma sätt som vi har investerat kraftigt i vårt interna nätverk och servermiljö så ska vi även se över våra externa förbindelser.

Avslutningsvis

Sist men inte minst, se nu till att köpa och ladda ned Magnus Betnérs nya ståuppshow. För endast 49 kr får ni en helt underbar föreställning med en av Sveriges absolut främsta (och vassaste) komiker. Så var med och stöd Magnus utmärkta initiativ idag!