FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Tekniska nyheter, gott och blandat

FS Data förbättras hela tidenDet händer en massa bra saker på tekniksidan hos oss mest hela tiden. Även om vi gärna ingående redovisar så mycket som möjligt här i vår blogg så är det inte alltid vi kan det. För att komma ikapp med de förbättringar som skett hos oss på sistone så kommer här en liten sammanfattning.

Gott och blandat om tekniska nyheter helt enkelt.

– Fortsatt arbete med nätverket (snart ny nätverkslösning)

Vi har som bekant haft återkommande nätverksstörningar, orsakade dels av ett regelverk i vår brandväggslösning och dels av extremt stora (och återkommande) DDoS-attacker. Även om våra tekniker snabbt har motverkat störningarna så har de varit högst kännbara och beklagliga.

Våra tekniker har arbetat aktivt för stabilisera vårt nätverk och vår brandväggslösning. Vi har genomfört ett flertal uppgraderingar, både av mjuk- och hårdvara, och sett klara förbättringar där.

Innan störningarna uppstod så hade våra tekniker arbetat i över ett halvår med en helt ny nätverkslösning. Denna lösning innebär bl a att vi kraftigt ökar vår nätverkskapacitet, att vi får ett ännu bättre DDoS-skydd samt att vi kan få in fler leverantörer med ännu bättre redundans (vi har redan redundans med separata förbindelser in till oss).

Den nya nätverkslösningen har högsta möjliga prioritet och de sista förberedande testerna för denna lösning har skett här i veckan. Om allt går som planerat så kommer den nya nätverkslösningen vara på plats inom 1-2 veckor. När den nya nätverkslösningen är klar så ska dessa återkommande nätverksstörningar vara ett minne blott.

– Förbättrad spam- och e-posthantering

Vi har de senaste veckorna även upplevt en del störningar i vår e-postmiljö. Det har berott på en kraftig ökning av skräppost/spam, med uppåt 200 e-postmeddelanden/sekund varav ca 85 % var spam. Detta har både till större mängder spam än vanligt hos våra kunder samt längre leveranstider för e-postmeddelanden.

Även här har våra tekniker arbetat väldigt aktivt. Vi har dels utvecklat egna moduler för effektivare filtrering av spam och dels upptäckt (och åtgärdat) fel i e-posthanteringen för Exchange 2013 (vilket har rapporterats till Microsoft).

Efter de senaste åtgärderna i Exchange 2013, som skedde förra helgen, så har vi inte haft några mer problem med varken spam eller leveranstiderna för våra e-posttjänster. Vi fortsätter dock att övervaka detta noggrant.

– Utökat hemsideskydd med ModSecurity

Sedan några månader tillbaka kör vi ett säkerhetstillägg som heter ModSecurity på våra Linuxbaserade webbservrar (för webbhotellskunder och serverkunder med drifttjänst). Detta tillägg upptäcker och stoppar vanligen förekommande angrepp och vi har sett en klar minskning av antalet hackade hemsidor med ModSecurity.

ModSecuritys skydd baseras på olika regelverk/filter och vi kör både de öppna/allmänt tillgängliga reglerna samt det kommersiella regelverket. Det förstnämnda är rätt enkelt, men det andra har krävt en hel del anpassningar för att fungera med alla våra kunders hemsidor (ingen hemsida är den andra lik).

Vi har därför väldigt försiktigt infört och utökat detta skydd på våra webbservrar de senaste månaderna. Nu har vi fullt skydd med ModSecurity på nästan alla servrar och vi räknar med att vara helt klara till sommaren.

– Ubuntu 14.04, CentOS 6.5 & FreeBSD 10.0

Vi erbjuder nu stöd för de senaste versionerna av Linux-distributionerna Ubuntu (14.04) och CentOS (6.5) i våra VPS-tjänster. Dessutom har vi även introducerat FreeBSD som ett alternativ till Linux och Windows. FreeBSD är ett riktigt UNIX-operativ som är känt för god prestanda, säkerhet och stabilitet.

– PHP-uppgraderingar i veckan

Precis som vanligt så hade vi ett planerat servicefönster den första tisdagen denna månad. Där uppgraderades bl a PHP till de senaste versionerna, för ökad säkerhet och prestanda. Nu erbjuder vi PHP 5.5.13 och 5.4.29 (samt PHP 5.3.27 och 5.2.17 sedan tidigare) till alla våra webbhotellskunder.

– Välj egen version av Ruby

All programvara är inte lika bakåtkompatibelt som PHP. En programvara som vi har stöd för och som, på servernivå, inte är lika enkel att uppgradera är programmeringsspråket Ruby. Även om vi fortlöpande säkerställer Ruby så skulle många av våra kunders Ruby-applikationer/hemsidor sluta fungera om vi uppgraderade hur som helst.

Det är dock fullt möjligt att köra valfri version av Ruby hos oss med Ruby Version Manager (RVM). Läs gärna vår nya manual om hur detta fungerar: Välj version av Ruby med RVM

Det var några höjdpunkter från tekniksidan hos oss. Om du har frågor eller funderingar här, lämna då gärna en kommentar nedan.

Ännu säkrare servrar (ModSecurity)

Som ni säkert vet så arbetar vi väldigt aktivt på FS Data för att erbjuda våra kunder så snabba, säkra och stabila tjänster som möjligt. Vi har t ex en av branschens bästa brandväggslösningar, vi kontrollerar våra kunders hemsidor efter virus/skadlig kod, vi har ordentliga servicefönster varje månad osv, osv.

Vi tar det här med säkerhet på högsta allvar.

Nu har vi tagit nästa steg och installerat ett nytt säkerhetstillägg på alla våra Linuxbaserade webbservrar (för alla webbhotellskunder och serverkunder med drifttjänst). Säkerhetstillägget heter ModSecurity, det är baserat på öppen källkod och har utvecklats aktivt under flera års tid (det är stabilt och säkert).

Vad är ModSecurity?

ModSecurityModSecurity är ett tillägg till våra webbservrar (Apache) som upptäcker och förhindrar angrepp mot våra kunders hemsidor, baserat på olika listor över kända säkerhetshål. Det är ett skydd mot allt från SQL injection och cross-site scripting (XSS) till sårbarheter i lösningar som WordPress, Joomla, Drupal osv.

FS Data kör en kombination av flera säkerhetslistor, med både den allmänt tillgängliga listan (Core Rules) hos ModSecurity samt kommersiella listor (Commercial Rules) som tillhandahålls av Trustwave Spiderlabs (ännu bättre/mer effektiva). Listorna anpassas efter våra kunders behov och uppdateras fortlöpande för att täcka nya säkerhetshål.

Hur bra fungerar ModSecurity?

Vi har inledningsvis, sedan några veckor tillbaka, kört ModSecurity i ett analysläge. Detta för att kunna anpassa tillägget efter våra kunders hemsidor. Vi har under denna tid även gjort en djupare analys av trafiken mot våra servrar och sett att våra kunder är utsatta för 100 000-tals attacker varje dygn (som ModSecurity skyddar mot).

Vi har sedan tidigare ett väldigt bra skydd mot vissa former av attacker via våra brandväggar (de skyddar likaså våra kunder mot en stor del av den farliga trafiken). Med ModSecurity har vi dock ett skydd mot en form av attacker som vår brandväggslösning inte hanterar.

ModSecurity är ett utmärkt komplement, ytterligare ett lager av säkerhet för våra kunder.

När kör vi ModSecurity skarpt?

Vi har denna vecka börjat aktivera ModSecurity i skarpt läge för ett antal webbservrar hos oss. När ModSecurity aktiveras för en server så har våra drifttekniker extra koll på denna server och åtgärdar eventuella fel (felaktigt klassificerad farlig trafik) som de hittar (och får rapporter om).

Därefter aktiveras ModSecurity för ytterligare servrar, till dess att det körs i skarpt läge överallt hos oss. Vi räknar med att vara helt klara med detta inom de närmaste veckorna.

Behöver man som kund göra något särskilt med ModSecurity?

I de flesta fall, nej. Merparten av våra kunder kommer inte ens märka att deras hemsidor har blivit avsevärt mycket säkrare. Om man dock upptäcker att t ex någon funktion på en hemsida inte fungerar som vanligt så bör man meddela vår kundtjänst om detta.

Våra tekniker arbetar aktivt med ModSecurity just nu och vi har möjlighet att lösa eventuella fel som uppstår i samband med detta väldigt snabbt.

Om du har några frågor om ModSecurity, kontakta då vår kundtjänst eller lämna en kommentar här nedan.

Redovisning av nätverksstörning/avbrott

Igår kväll råkade vi ut för ett längre avbrott i vårt nätverk, som påverkade tillgängligheten för samtliga tjänster hos oss. På grund av dess omfattning så vill vi här redovisa exakt vad som hände och vad vi gör för att undvika ett likadant avbrott igen.

FS Data har en redundant nätverksanslutning, med två separata förbindelser, via Telia. Denna anslutning hanteras av två väldigt kraftfulla routrar, anslutna till vår redundanta brandväggslösning (två separata maskiner likaså), som automatiskt fördelar trafik dem emellan utan några avbrott.

För en tid sedan började vi notera vissa återkommande och eskalerande nätverksstörningar, sk. packet loss, med de anslutningar som vi idag har i våra brandväggar. Vi utförde en genomgående felsökning, konsulterade vår brandväggsleverantör och beställde nya anslutningar, som ankom här denna vecka.

För att eliminera nätverksstörningarna, till dess att de nya brandväggsanslutningarna var installerade, så valde vi att temporärt lägga om nätverket enbart mot Telias primär anslutning/router. De nya anslutningarna för brandväggarna installeras nästa vecka och vi har inte haft något oplanerat avbrott eller anslutningsbyten hos Telia under två års tid.

Sedan gjorde ”Murphys lag” sig påmind.

Igår kl. 17:30 kopplade Telia oplanerat om trafiken från vår primära anslutning/router till vår sekundära motsvarighet. Detta orsakade avbrott i vårt nätverk och våra tekniker ingrep omedelbart. Kl. 17:39 kopplades trafiken tillbaka, vilket åter gav oss en förbindelse, men kl. 17:44 återgick vi ännu en gång till den sekundära anslutningen/routern med tillhörande avbrott.

Utan vidare information från Telia fick våra tekniker ”kämpa i mörkret”. De kopplade om våra anslutningar ett flertal gånger, med omkonfiguration (och omstarter) av brandväggarna därtill. Efter mycket intensivt arbete lyckades vi till slut få till det och kl. 19:10 var nätverksstörningen/avbrottet helt över.

Vi vill givetvis inte lägga all skuld för detta avbrott på Telia. Den temporära omläggningen av nätverket bidrog även till att återställningen tog längre tid än nödvändigt. Vi har nu vidtagit åtgärder så att en eventuell liknande, oplanerad, omkoppling av Telia kommer kunna återställas avsevärt snabbare.

De nya brandväggsanslutningarna är som sagt på plats hos oss och de kommer att installeras, i samarbete med externa konsulter från vår brandväggsleverantör, här redan nästa vecka. Därefter kommer ett avbrott som detta inte att kunna uppstå igen.

Vi får avslutningsvis be så hemskt mycket om ursäkt för denna nätverksstörning/avbrott. Utöver tidigare nämnda nya anslutningar så har vi sedan en längre tid tillbaka arbetat med att förstärka och ytterligare säkra hela vår nätverksmiljö. Under hösten kommer vi bl a att kunna hantera IPv6 och anslutningar från fler leverantörer än Telia.

Vi gör allt i vår makt för att leverera så snabba, säkra och stabila tjänster som möjligt till våra kunder. Vår målsättning är att uppnå 100 % tillgänglighet i vår nätverksmiljö och det är ett mål som vi arbetar oavbrutet mot.

Om ni har några frågor eller funderingar om detta, lämna då gärna en kommentar här nedan.

En smartare brandvägg, för våra kunders säkerhet

FS Data har, sedan början av 2012, en av marknadens absolut bästa brandväggslösningar. Vår dubbla och redundanta uppsättning av Juniper SRX3400 kan hantera 20 Gb trafik/sekund, med 2,25 miljoner samtidiga anslutningar.

Denna nya lösning kom ursprungligen till efter en serie av kraftfulla och distribuerade överbelastningsattacker (sk. DDoS-attacker), som vår tidigare brandväggslösning inte kunde hantera. Det var attacker riktade mot våra kunder, som kunde ha sänkt i princip vilket svenskt webbhotell som helst.

För att finna ett permanent skydd till detta så undersökte vi, i princip, hela marknaden för brandväggar, från egenutvecklade lösningar till komplexa lösningar med Cisco. I slutändan visade det sig att Juniper kunde erbjuda oss och våra kunder den bästa lösningen av dem alla.

Sedan introduktionen av våra nya brandväggar så har antalet nätverksstörningar helt upphört. Med få undantag, relaterade till att det var en ny lösning, så har brandväggslösningen stoppat alla överbelastningsattacker under 2012. Då talar vi om åtskilliga tusentals attacker av denna sort.

Men det är inte bara överbelastningsattacker som våra nya brandväggar stoppar.

Som de flesta brandväggar så erbjuder vår lösning även skydd mot andra former av intrång. Men till skillnad från andra brandväggar så är vår lösning rätt så mycket smartare. Vår brandväggslösning har nämligen något som kallas för IDP.

Juniper Intrusion Detection and Prevention (IDP)

IDP är ett system som identifierar, säkerställer och styr datatrafik, utan att prestandan (läs: hastigheten) påverkas. Med IDP kan man skapa en mer pålitlig nätverksmiljö och skydda sig mot ett stort antal kända säkerhetshål. IDP-reglerna kan både hanteras manuellt och automatiskt, med listor som uppdateras dagligen.

IDP-listorna innehåller blockeringsregler för kända säkerhetshål – både för specifika lösningar såsom WordPress, Joomla, phpBB osv, men även för generella attacker via t ex SQL-injicering eller säkerhetshål i Windows (Juniper får t ex förhandsinfo från Microsoft inför deras ”patch tuesdays”).

Man kan likna detta vid ett antivirusprogram, som dagligen hämtar nya uppdateringar och virusskydd.

IDP är sedan 2 veckor tillbaka aktiverat för samtliga webbhotellsservrar hos oss. Den IDP-lista som vi använder har över 1 600 blockeringsregler, som skyddar våra kunders hemsidor och webbtjänster.

Men hur effektivt är IDP? Här är en liten topp 10-lista, med stoppade attacker under knappt 8 timmar igår:

Sårbarhet/säkerhetshål Antal attacker
HTTP:DIR:PARAM-TRAVERSE 55470
SMTP:OVERFLOW:TEXT-LINE-OF 14738
HTTP:UNIX-FILE:ETC-PASSWD 4619
HTTP:REQERR:NULL-IN-HEADER 2009
HTTP:SQL:INJ:AND-NUMBER-EQUALS 1411
HTTP:SQL:INJ:UNION-SELECT 1191
VIRUS:SMTP:LOCALHOST-HELO 973
HTTP:SQL:INJ:HAVIJ-UA 860
HTTP:PHP:PHP-CGI-CMD-LINE-RCE 478
HTTP:XSS:HTML-SCRIPT-IN-URL-PTH 456

Den fullständiga listan över stoppade attacker är givetvis mycket längre än så här, men ni förstår poängen.

För en tid sedan bloggade vi om hur viktigt det är att uppdatera sin hemsida, för att undvika att bli hackad. Då berättade vi att våra tekniker hjälper i genomsnitt 5 hackade kunder/vecka. Sedan vi aktiverade IDP (för 2 veckor sedan) så har vi haft 2 hackade kunder totalt. Det är 80 % färre hackade hemsidor.

Även om vår brandvägg nu erbjuder ett ännu bättre skydd än tidigare så är det givetvis fortsatt viktigt att man håller sin hemsida uppdaterad och säker. Precis som man installerar säkerhetsuppdateringar på sin dator så ska man även uppdatera sin hemsida.

IDP är ett kostnadsfritt skydd som ingår för alla våra webbhotellskunder. Vi håller även på att se över möjligheten att erbjuda IDP till våra serverkunder. Om ni har en servertjänst hos oss och är intresserade av detta, kontakta då gärna vår kundtjänst.

En uppdatering om helgens DDoS-attacker

Under helgen som gick så blev vi, vid ett flertal tillfällen mellan den 29:e april och 1:a maj, utsatta för ett antal väldigt kraftfulla överbelastningsattacker, sk. DDoS-attacker. Samtliga attacker uppmärksammades och åtgärdades av våra jourgörande tekniker, men de påverkade ändå tillgängligheten och svarstiderna i vårt nätverk negativt.

Nu har vi sedan en tid tillbaka en uppsättning med helt nya, redundanta och lastbalanserade brandväggar från Juniper. Det är en av marknadens mest kraftfulla lösningar, som bl a erbjuder automatiskt skydd mot sådana här attacker.

Så varför påverkades vi då av helgens överbelastningsattacker?

Det berodde på att de automatiska skyddsfunktionerna för sådana här attacker inte var aktiverade i våra brandväggar. Detta då vi först har velat säkerställa funktionaliteten i vårt nya nätverk, innan dessa automatiska funktioner aktiverades. Samtliga funktioner har varit manuellt tillgängliga (och användes för att stoppa helgens attacker).

Nu har vi dock, sedan lite tidigare idag, aktiverat dessa automatiska skyddsfunktioner. Därigenom ska liknande attacker stoppas desto snabbare här framöver. Vi får beklaga de störningar som uppstod i helg och vi garanterar er att vi gör vårt yttersta för att erbjuda våra kunder så snabba, stabila och säkra tjänster som möjligt.