FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Förbättringar i vår hemsidemiljö

FS Data förbättras hela tidenFS Data är ett webbhotell och serverleverantör som historiskt sett har varit synonymt med hög kvalitet och god tillgänglighet. Våra servrar och tjänster har fungerat bättre, snabbare och säkrare än många andra. Det är något som vi arbetat aktivt med, som vi har varit stolta över och som våra kunder givetvis har uppskattat.

Den senaste tiden har några av våra tjänster dock inte levt upp till de höga krav och förväntningar som vi har. Vi har haft störningar i den tekniska hemsidemiljön för våra webbhotellskunder. Det har orsakat avbrott och högre laddningstider för våra kunders hemsidor.

Det här är något som vi hanterar med högsta möjliga prioritet. Våra kunders hemsidor och övriga tjänster måste fungera perfekt. Här är en redogörelse av de problem/orsaker vi ser i denna servermiljö, med information om de åtgärder som vi just nu vidtar.

– Hackade hemsidor. Den främsta orsaken till avbrott och störningar i vår hemsidemiljö är hackade hemsidor. Även om vi har väldigt kompetenta brandväggar och automatiskt kontrollerar våra kunders hemsidor så har vi alltjämt ett stort antal kunder med hackade hemsidor.

Att hemsidor hackas beror allt som oftast på att man använder en färdig lösning, såsom WordPress eller Joomla, och inte uppdaterar denna ordentligt (både lösningen i sig och tillhörande teman/tillägg). När en hemsida hackas så tas den ofta över och uppgår i ett nätverk med sidor som utför olika uppgifter (t ex hackar andra hemsidor). Detta kan vara väldigt resurskrävande.

För att motverka dessa hackade hemsidor så har vi dedikerade tekniker som enbart arbetar med att identifiera och meddela berörda kunder. På en vecka har vi fått ner antal hackade filer (inte hemsidor, utan filer under hemsidor) från ca 20 000 till ca 10 000. Denna manuella process kommer vi fortsatt prioritera, även efter att nuvarande hackade hemsidor/filer är borta.

– Förbättrad kundisolering. För våra webbservrar har vi sedan tidigare en teknisk lösning där vi isolerar våra kunder från varandra, så de ska kunna ha så liten åverkan som möjligt på övriga kunders hemsidor och tjänster. Samt att vi ska kunna kontrollera och hantera våra serverresurser ordentligt.

Den lösning vi har sedan tidigare har dock inte riktigt hanterat isoleringen så snabbt och bra som vi önskar. Vi har därför en ny och förbättrad lösning på detta, som installerats på ett antal webbservrar med väldigt goda resultat. Den nya kundisoleringen fungerar och hjälper våra tekniker att stabilisera vår hemsidemiljö.

– Kraftigare hårdvara. Den nya kundisoleringen kräver mer/bättre hårdvara och vi har därför köpt in ett flertal nya servrar för detta ändamål. De nya servrarna introduceras fortlöpande i vår hemsidemiljö de närmaste veckorna. Denna nya hårdvara är givetvis dimensionerad för att kunna hantera mycket mer än vad vi egentligen behöver idag. Allt för att säkerställa vår kvalitet.

Vi gör vårt yttersta för att säkerställa kvaliten och tillgängligheten för våra servrar och tjänster. Vi ska – och kommer – bli mycket bättre här framöver.

Lämna gärna en kommentar om du har generella frågor om detta. För frågor rörande din hemsida, kontakta vår kundtjänst.

En statusrapport om vår e-postmiljö

Som ni kanske har märkt så har vi haft en del störningar i vår e-postmiljö den senaste veckan. Vi vill lite kort berätta vad som har hänt, vad vi har gjort för att lösa dessa störningar samt de framtida planerna för vår e-postmiljö.

Bakgrund:

Vår e-postmiljö är som bekant en av världens största Microsoft Exchange Server-lösningar. Det är en klustrad, lastbalanserad och extremt kompetent plattform. Vår Exchange-lösning i sig har det inte varit några problem med.

Det som istället orsakade störningarna i vår e-postmiljö, det var vår nya lagringslösning.

Dell Compellent är en otroligt kraftfull och snabb lagringslösning. För att hantera och leverera e-posten så snabbt som möjligt så har Compellent flera specialfunktioner. En av dessa funktioner innebär att äldre e-post (arkiverad e-post, som inte kontrolleras ofta) placeras på vanliga diskar, medan aktuell e-post prioriteras och placeras på extra snabba diskar.

Störningar:

I fredags förra veckan uppstod det dock ett fel med denna funktion. Efter ett försök till optimering så förlorades den interna databas som håller reda på äldre och aktuell e-post. Det ledde till att samtliga e-postmeddelanden placeras på samma typ av diskar, vilket orsakade extra belastning och problem med våra e-posttjänster.

Våra tekniker upptäckte detta snabbt och började omedelbart återskapa databasen ifråga. Databasen hanteras dock på ett särskilt sätt av Compellent, vilket innebär att systemet behöver ”lära sig på nytt” att särskilja aktuell och äldre e-post. Då vi har över 50 000 e-postkonton så är detta en process som tar tid.

Vi har under dessa störningar haft kontakt med både Dell och externa Compellent-specialister. Flera av våra egna tekniker har även arbetat oavbrutet flera dagar i sträck. Allt för att våra e-posttjänster åter ska fungera lika bra som vanligt.

När vi hade börjat återhämta oss efter incidenten med lagringslösningen för vår e-post så blev vi plötsligt utsatta för en distribuerad överbelastningsattack (DDoS), riktad mot vår e-postmiljö. Målet för attacken var våra inkommande e-postservrar och det resulterade i att det blev omöjligt att ansluta till våra e-posttjänster.

Denna attack stoppades av våra tekniker, med hjälp av våra brandväggar, men det innebar ändå en fördröjning i återställningen av vår e-postmiljö. Notera dock att ingen e-post för våra kunder har gått förlorad, vare sig under störningen i lagringslösningen eller under överbelastningsattacken.

Aktuell status:

Vår e-postmiljö, med samtliga e-posttjänster, fungerar sedan igår kväll lika bra som vanligt. Vi kontrollerar nu denna miljö lite extra, men vi kan inte se någon orsak till liknande störningar här framöver.

Åtgärder:

Vi har redan vidtagit åtgärder för att förhindra en framtida förlust av databasen i Compellent. Detta arbete har utförts i direkt samråd med Dell. Vi har även säkrat ett antal andra komponenter i vår lagringslösning, så att liknande händelser inte ska kunna ske igen.

När det gäller överbelastningsattacken så har vi utökat regelverken i våra brandväggar samt ytterligare isolerat vår e-postmiljö. När vi attackerades så påverkades även vår telefonväxel. Framtida attacker kommer stoppas ännu snabbare och inte kunna påverka andra delar av vår verksamhet.

Avslutningsvis:

Vi vill givetvis be så väldigt mycket om ursäkt för de störningar som har förekommit i vår e-postmiljö. Vår målsättning är att erbjuda våra kunder en så bra, snabb och säker e-posttjänst som möjligt. Det är ett mål som vi fortsätter arbeta mot, oavbrutet.