FS Data

FS Data - webbhotell, domännamn, e-post, servrar

Servicefönster på FS Data

Som ni förmodligen har märkt så arbetar vi intensivt med att uppdatera samtliga servrar för våra webbhotell- och servertjänster (läs gärna vårt tidigare inlägg om ”Operation vårstädning”). Målsättningen är att vi ska erbjuda våra kunder den mest uppdaterade, snabba och säkra plattformen i hela branschen.

Men det räcker inte med att enbart köra dessa uppdateringar en gång. Precis som med vanliga datorer så behöver servrar uppdateras fortlöpande för att kunna bibehålla sin tekniska spets. Vi har förvisso uppdaterat våra servrar tidigare, men nu vill vi göra det under desto mer ordnade och planerade former.

Därför inför vi nu ett servicefönster här på FS Data. Detta servicefönster infaller den första tisdagen varje månad fr om kl. 23:00. Vi har valt denna dag/tidpunkt för att minimera påverkan på våra tjänster samt för att kunna erbjuda så bra kundtjänst som möjligt i samband med servicefönstret.

Under varje servicefönster kommer vi att utföra planerade uppdateringar i vår servermiljö. Vi kommer att informera om de planerade uppdateringarna, inför varje servicefönster, på vår driftstatussida. Där kommer vi att ange vad som ska uppdateras samt ge en tidsuppskattning för detta arbete.

Vi kommer även att påminna om dessa servicefönster på bl a Twitter och Facebook.

Det kan – och kommer – givetvis att behöva ske uppdateringar utanför våra servicefönster. Uppdateringar av kritisk karaktär (såsom allvarliga säkerhetsuppdateringar) kommer att ske omgående oavsett vad (men ändå främst förläggas till sen kväll/natt). Dessa informerar vi likaså om på vår driftstatussida.

Det första servicefönstret kommer att ske här idag. Mer information om detta läggs inom kort ut på vår driftstatussida.

Om ni har några frågor om detta, lämna då gärna en kommentar här. Vi är givetvis tacksamma för alla synpunkter och idéer kring hur vi kan fortsätta förbättra våra servrar och tjänster.

En uppdatering om helgens DDoS-attacker

Under helgen som gick så blev vi, vid ett flertal tillfällen mellan den 29:e april och 1:a maj, utsatta för ett antal väldigt kraftfulla överbelastningsattacker, sk. DDoS-attacker. Samtliga attacker uppmärksammades och åtgärdades av våra jourgörande tekniker, men de påverkade ändå tillgängligheten och svarstiderna i vårt nätverk negativt.

Nu har vi sedan en tid tillbaka en uppsättning med helt nya, redundanta och lastbalanserade brandväggar från Juniper. Det är en av marknadens mest kraftfulla lösningar, som bl a erbjuder automatiskt skydd mot sådana här attacker.

Så varför påverkades vi då av helgens överbelastningsattacker?

Det berodde på att de automatiska skyddsfunktionerna för sådana här attacker inte var aktiverade i våra brandväggar. Detta då vi först har velat säkerställa funktionaliteten i vårt nya nätverk, innan dessa automatiska funktioner aktiverades. Samtliga funktioner har varit manuellt tillgängliga (och användes för att stoppa helgens attacker).

Nu har vi dock, sedan lite tidigare idag, aktiverat dessa automatiska skyddsfunktioner. Därigenom ska liknande attacker stoppas desto snabbare här framöver. Vi får beklaga de störningar som uppstod i helg och vi garanterar er att vi gör vårt yttersta för att erbjuda våra kunder så snabba, stabila och säkra tjänster som möjligt.

Planerat byte av lagringslösning för våra e-posttjänster

Arbetet med att uppgradera och förbättra vår tekniska miljö fortsätter, både natt och dag (eller ja, främst nattetid). Den senaste tiden har vi uppdaterat samtliga webbservrar hos oss och nu har turen kommit till vårt kära e-postsystem. Nu ska vi byta lagringsmiljö för vår klustrade och lastbalanserade Microsoft Exchange Server-lösning.

FS Data var väldigt tidigt ute med att erbjuda e-post baserat på Microsoft Exchange och vi har idag en av världens största Exchange-installationer, med närmare 50 000 aktiva e-postkonton. Denna installation är redan väldigt optimerad, säker och stabil men det går ändå alltid att göra saker ännu bättre.

Vi byter därför från en SAN-baserad lösning från HP till en lösning som baseras på Dell Compellent. Det är likaså en SAN-baserad lösning, om än med mycket större flexibilitet, bättre prestanda och snabbare expansionsmöjligheter.

Dell Compellent ger oss möjlighet att extremt snabbt utöka utrymmet i våra e-posttjänster. Mängden data (e-postmeddelanden, kalendrar, uppgifter, dokument osv) som vi kommer kunna hantera via Dell Compellent är snudd på obegränsad.

Rent funktionsmässigt sett så kommer inga förändringar att uppstå i våra e-posttjänster.

Med Dell Compellent kommer vi även att upprätta en extern Disaster Recovery-site, som gör det möjligt för oss att omedelbart återställa Microsoft Exchange Server och all e-post om en allvarlig incident inträffar. Vi har sedan tidigare externa backuper, men det här blir en ännu mer säker och smidig lösning.

Bytet av lagringslösning kommer att påbörjas den 9:e maj. Arbetet kommer att ske nattetid (från ca kl 23:00), för att minimera påverkan på våra kunders e-posttjänster. Det kan alltjämt uppstå avbrott (dock inte förlust av e-post, då dessa köas för senare leverans på andra servrar hos oss) under arbetets gång.

Vi kommer givetvis att informera om förloppet under migrering på vår driftstatussida. Om ni har några frågor om detta, kontakta då gärna vår kundtjänst eller lämna en kommentar här.

Några rader om #betnerfyra

Den svenska ståuppkomikern Magnus Betnér har under flera års tid varit kund hos oss på FS Data. Med ett vanligt webbhotellspaket hos oss så har vi hanterat hans populära och välbesökta hemsida och blogg, med videos, podcasts och mycket mer.

För ett par veckor sedan fick vi en förfrågan om att tillhandahålla en teknisk lösning för en hel ståuppshow, som Magnus ville sälja direkt på sin hemsida utan några mellanhänder. Han ville göra en svensk motsvarighet till det som Louis CK gjorde för en tid sedan.

Vi tyckte det lät som en strålande idé. Flera av oss hade köpt showen hos Louis CK och även om ingenting liknande tidigare har utförts i Sverige så ville vi vara med och bidra till denna nya och spännande distributionsform.

Igår kväll kl. 18:00 släppte Magnus Betnér sin show.

Inledningsvis gick det väldigt bra, men allt eftersom kvällen gick så uppstod det långa laddningstider. Detta orsakade även en sk. ”twitterstorm”, då Magnus har närmare 75 tusen förväntansfulla följare på Twitter. Till slut flyttades nedladdningslösningen till en annan leverantör.

Tack vare denna ”twitterstorm”, där många falska och felaktiga uppgifter tyvärr även cirkulerade, så vill vi lite kort förklara exakt vad som hände, på den tekniska sidan, igår kväll.

Förutsättningar

Enligt de uppskattningar vi fick så skulle ståuppshowen vara ca 1 GB stor, med 10-50 000 nedladdningar det första halvåret. Det kunde inledningsvis bli en väldigt stor efterfrågan, med uppåt 10-20 000 nedladdningar redan den första helgen.

Det här var en lösning som krävde mer än ett vanligt webbhotellspaket. Våra tekniker räknade på de uppskattningar som vi hade fått, vi diskuterade det hela internt och vi beslutade oss sedan för att erbjuda Magnus en kostnadsfri lösning för det hela.

Rent tekniskt sett så satte vi upp en klustrad och lastbalanserad serverlösning, bestående av 4 st servrar, enbart för att hantera detta. Vi reserverade likaså en kapacitet på 500 Mbit/s för nedladdningarna av showen.

Med de uppskattningar vi hade fått så skulle detta innebära att man kunde ladda ner ståuppshowen med hastigheter mellan 1-5 MBit/s, även om efterfrågan skulle bli väldigt hög (10-20 000 nedladdningar redan den första helgen).

Resultat

Responsen på Magnus initiativ var över all förväntan. 10 000-tals besökare strömmade in till hans hemsida och antalet nedladdningar blev snabbt fyrsiffrigt. På serversidan var det inga som helst problem. Serverlösningen hanterade och levererade allt utan att svettas.

Men trafiken räckte inte till.

De högsta uppskattningarna hade överträffats med råge och trots att vi dubblerade kapaciteten så var det inte tillräckligt. Det antal nedladdningar som skulle ta 3-4 dagar att uppnå såg ut att uppnås på knappt 24 timmar. När nedladdningarna var som mest intensiva så hade vi behövt ca 5 Gbit/s för att kunna tillgodose efterfrågan.

Våra tekniker gjorde verkligen allt i sin makt för att ytterligare utöka trafiken, men det var tyvärr inte tillräckligt.

Sammanfattning

Det är först och främst väldigt beklagligt att vi inte lyckades leverera tillräcklig kapacitet för alla nedladdningar igår kväll. Våra tekniker arbetade otroligt hårt, både innan och under denna lansering. Vi levererade det vi hade lovat och mer därtill, men det var inte nog.

Det här var en väldigt annorlunda upplevelse för oss. I vanliga fall utnyttjar våra kunder sammanlagt knappt en tiondel av denna trafik i snitt till sina tjänster hos oss. Även om trafiken var maximal så lyckades vi, tack vare vår nya brandväggsuppsättning, ändå minimera påverkan på våra övriga kunder.

Med facit i hand så borde vi ha gjort två saker annorlunda:

1. Vi borde ha ”antagit det värsta” och förberett oss på 10 gånger så mycket trafik som de uppskattningar vi fick. Även om vi dubblerade den utlovade kapaciteten så var vi inte tillräckligt snabba med att ytterligare utöka trafiken. När den värsta belastningen var över så lämnades vi för en annan leverantör.

2. Vi borde ha föreslagit och satt upp en distribuerad nedladdningslösning (torrent-tracker). Detta diskuterades internt innan vi la fram vårt förslag, men kom inte med pga tidsbrist. Det hade avlastat vår kapacitet och möjliggjort säker nedladdning oberoende av oss.

I slutändan så var detta en värdefull, om än kostsam, lärdom för oss. Till följd av detta så kommer vi, även om vi egentligen inte har ett allmänt behov av det, att bättre undersöka våra möjligheter till snabb utökning av vår trafikkapacitet. På samma sätt som vi har investerat kraftigt i vårt interna nätverk och servermiljö så ska vi även se över våra externa förbindelser.

Avslutningsvis

Sist men inte minst, se nu till att köpa och ladda ned Magnus Betnérs nya ståuppshow. För endast 49 kr får ni en helt underbar föreställning med en av Sveriges absolut främsta (och vassaste) komiker. Så var med och stöd Magnus utmärkta initiativ idag!

Uppgraderingar av systembibliotek

Efter att ha uppgraderat Python, PHP och Ruby on Rails, så fortsätter ”Operation vårstädning” med en serie av ytterligare uppgraderingar. Härnäst har turen kommit till systembiblioteken på våra webbservrar.

Vet du inte vad ett systembibliotek är? Då kommer du inte påverkas av dessa uppgraderingar.

Systembiblioteken erbjuder separata användarprogram stöd i form av programkod och datastruktur. Om man själv, som kund hos oss, har installerat kompilerade program (C eller C++) på sitt konto hos oss så bör man, efter uppgraderingen, kontrollera att dessa fungerar korrekt. Annars kan dessa program behöva kompileras om mot de uppgraderade systembiblioteken.

Med start måndag den 2:a april, så kommer vi att börja uppgradera dessa systembibliotek. Uppgraderingarna medför inga avbrott och våra e-posttjänster berörs inte alls. Dessa uppgraderingar kommer att ytterligare förbättra säkerheten och prestandan för våra webbtjänster, samt förbereda oss för framtida uppgraderingar.

Om ni ändå har några frågor om denna uppgradering, kontakta då gärna vår kundtjänst.