Drift – Sida 2

nov 28 2013

Redogörelse av e-poststörning v47

Förra veckan, vecka 47, upplevde vi en omfattande störning på våra e-posttjänster. Störningen påverkade samtliga kunder med e-post hos oss och pågick under så pass lång tid att vi vill redovisa lite mer ingående vad som hände och vad vi har gjort för att undvika en liknande störning här framöver.

När störningen var aktuell så redovisades detta även på vår driftstatussida, med fortlöpande uppdateringar.

Vad var det som hände?

I måndags förra veckan, vid lunchtid, upptäckte våra tekniker att SMTP-köerna (köerna med utgående/inkommande e-post) i vår Microsoft Server Exchange-miljö ökade i en ovanligt hög takt. SMTP-köerna är dock fördelade över ett flertal servrar hos oss, för redundans/lastbalansering, och köbildningen uppstod inte på alla servrar samtidigt. När en kund fick problem och försökte igen så fungerade det, vilket ”maskerade” störningen en aning.

Hur löste vi det hela?

Våra tekniker började felsöka köbildningen så snart vi upptäckte den. Genom att starta om respektive SMTP-tjänst (inte server, utan tjänst på server) så arbetades även köerna av på de servrar som påverkades av störningen. Våra tekniker arbetade oavbrutet genom natten mellan måndag och tisdag, dock utan att finna en lösning.

På tisdagen tog vi därför kontakt med Microsoft i USA, för att lösa denna störning. Deras Exchange-specialister kom in och felsökte med våra tekniker och efter närmare 20 timmar hittade vi orsaken till köbildningen. Det visade sig att störningen berodde på en odokumenterad funktion i Exchange Server.

Under onsdagen introducerade vi en lösning i vår Exchange Server-miljö och sedan dess är störningen helt över. Våra tekniker och Microsoft fortsatte att övervaka SMTP-köerna över helgen och till början denna vecka, för att snabbt kunna upptäcka eventuella fel. Nu är vi dock säkra på att denna störning är helt löst.

Hur påverkades våra kunder?

Inledningsvis berördes inte alla kunder, tack vare vår lastbalanserade SMTP-lösning. I takt med att flera SMTP-tjänster slutade fungera så påverkades dock i princip alla kunder. Våra tekniker minskade påverkan genom att starta om SMTP-tjänsterna, men störningen var ändå märkbar.

Den e-post som inte kunde skickas/tas emot under störningen köades på våra (och andra avsändande) servrar. När störningen upphörde (samt vid omstarter av SMTP-tjänsterna) så levererades e-posten igen.

Vad vi har har sett i våra serverloggar, som vi har undersökt väldigt noga, så har 99,99 % av all e-post, som berördes av denna störning, blivit levererad. Ett mindre antal e-postmeddelanden, som skickades exakt i samma sekund som en av SMTP-tjänsterna slutade fungera, blev dock korrupta och kunde inte levereras.

Även om bara ett fåtal kunder förlorade aktuell e-post så får vi givetvis beklaga detta. Vi gör allt i vår makt för att undvika sådana här händelser – med redundans, lastbalansering osv – och det är första gången sedan vi gick över till Exchange Server 2007 som vi har varit med om detta.

Hur går vi nu vidare?

Förutom att vi har implementerat en teknisk lösning, direkt från Microsoft, så har vi även infört en begränsning av storleken på bifogade filer i e-postmeddelanden. Orsaken till störningen var relaterad till väldigt stora bifogade filer (på flera GB) i e-posten, så vi gör nu detta för att vara helt på den säkra sidan.

Nu har vi en begränsning på max 50 MB för bifogade filer i e-postmeddelanden som skickas via våra e-posttjänster. Om en fil är större än så, då får avsändaren ett felmeddelande.

Vi har även, sedan början av året, arbetat med att ersätta nuvarande version av Exchange Server-hos oss (EX2007) med nya Exchange Server 2013 (EX2013). Efter mycket planering, utveckling och tester så är vi nu i slutfas av detta projekt.

Målsättningen är att vi ska gå över till EX2013 här i vinter.

Med EX2013 kommer vi även att introducera en helt ny tjänst, för våra kunder, som möjliggör enkel upp/nedladdning av väldigt stora filer. Man laddar bara upp sin stora fil och får en länk som skickas till mottagaren istället. Denna tjänst kommer att vara effektivare, säkrare och snabbare än att skicka väldigt stora filer via e-post.

Mer information om vårt arbete med EX2013 och dess introduktion hos oss följer i bloggen här framöver.

Om ni har några frågor om detta, lämna då gärna en kommentar här nedan.

okt 24 2013

Apache 1.3.37 ut, Apache 2.2.25 in

FS Data satsar helhjärtat på att erbjuda så snabba, säkra och uppdaterade tjänster som möjligt. Med våra regelbundna servicefönster uppdaterar och introducerar vi ständigt nya versionerna av olika programvaror. Vi är ofta först ut i Sverige (och ibland även världen) att erbjuda stöd för olika funktioner.

Apache webbserver Detta är något som uppskattas väldigt, både av våra kunder och av våra tekniker.

Med detta i åtanke så har vår nuvarande version av Apache (programvaran för våra webbservrar) länge varit en nagel i ögat på oss. Vi kör nämligen Apache 1.3.37 på våra Linuxbaserade webbservrar.

Den version av Apache 1.3.37 som vi kör har (förutom världens bästa versionsnummer) anpassats väldigt specifikt för våra tjänster och kunder. Den innehåller utökade säkerhetsfunktioner och möjligheter som en vanlig version av Apache inte kan erbjuda. Det är en väldigt FS Data-specifik version av Apache.

Men det är fortfarande en rätt gammal version och våra tekniker har därför, under en längre tid, arbetat med att anpassa Apache 2.2 på motsvarande sätt för våra tjänster och kunder. Efter att ha testat, utvärderat och genomfört ett flertal uppdateringar i vår labbmiljö så är vi nu redo att helt ta steget över till Apache 2.2.

– När kommer vi uppdatera till Apache 2.2?

Vi kommer fr o m nästa vecka och via ”rullande uppdateringar” att ersätta Apache 1.3.37 med Apache 2.2.25 på våra Linuxbaserade webbservrar (för webbhotellskunder och serverkunder med drifttjänst).

Rullande uppdateringar innebär att vi uppdaterar våra webbservrar successivt. Varje server kontrolleras innan uppdatering, mindre justeringar utförs om nödvändigt och så sker själva uppdateringen. Själva uppdateringen tar mindre än en minut och vi kommer lägga ut information på vår driftstatus för varje server som uppdateras.

– Vad innebär uppdateringen till Apache 2.2 för er som kund?

– En prestandaförbättring (läs: få en snabbare hemsida). Vi kommer presentera mer exakt underlag/benchmarktester här framöver, men det finns underlag på nätet om förbättringar mellan 50 – 150 %.

– Bättre tillgänglighet. Vi kommer inte längre behöva starta om Apache på samma sätt som tidigare för att få in förändringar/nya domäner på våra webbservrar.

– Snabbare ompekningar/förändringar. Apache 2.2 hanterar inpekade domännamn smartare, så man kommer inte behöva vänta lika länge som idag vid tillägg av fler domännamn.

– Stöd för Cloudflare (och liknande tjänster). En av de mest efterfrågade funktionerna hos våra kunder, kommer fungera direkt med Apache 2.2. Mer om Cloudflare kommer här i bloggen framöver.

– Kan något sluta fungera vid uppdateringen till Apache 2.2?

Våra tekniker har har testat denna uppdatering med ett stort antal olika färdiga hemsidelösningar (WordPress, Joomla, Drupal osv) samt kontrollerat olika specifika funktioner som skiljer sig mellan Apache 1 och Apache 2 (mod_gzip som vissa kunder kör via .htaccess ersätts t ex av mod_deflate, så vi skriver om .htaccess för berörda kunder).

Trots detta så kan fel ändå komma att uppstå.

Våra tekniker är mycket väl insatta i uppdateringen och kommer att kunna hjälpa till om något fel uppstår. Om ni upptäcker fel med er hemsida den närmaste tiden, som inte har existerat tidigare, så kan ni kontakta vår kundtjänst för snabb hjälp.

Målsättningen är att allt ska fungera, så att denna uppdatering blir en märkbar förbättring för våra kunder.

Om ni har några frågor om denna uppdateringar, lämna då gärna en kommentar här nedan. Detta gäller generella frågor, för specifika ärenden rekommenderas vår kundtjänst.

jun 24 2013

PHP 5.5, hos ett webbhotell nära dig

På FS Data strävar vi ständigt efter att ligga i framkant av den tekniska utvecklingen, bl a genom att köra så nya och uppdaterade versioner som möjligt av olika programvaror. Fördelarna med detta är många, såsom att våra kunders hemsidor blir snabbare, säkrare och mer stabila.

Natten till fredag förra veckan släpptes den skarpa versionen av PHP 5.5.0. Morgonen därpå, på midsommarafton, installerade våra tekniker PHP 5.5.0 på samtliga Linuxbaserade webbservrar hos oss. Det är rätt säkert att säga att vi är det första webbhotellet i Sverige, om inte hela världen, att erbjuda stöd för PHP 5.5.

PHP 5.5.0 hos FS Data

Nu skedde detta givetvis inte utan ordentlig planering och förberedelser. Vi har sedan 1 1/2 månad erbjudit våra webbhotellskunder möjlighet att testa beta-versionen av PHP 5.5. Dessa kundtester, samt våra egna interna tester, har varit väldigt framgångsrika. PHP 5.5 fungerar alldeles utmärkt hos oss.

Varför ska man köra PHP 5.5?

PHP 5.5 fortsätter på samma väg som PHP 5.4, med fokus på så snabba hemsidor som möjligt. PHP 5.5 är i stor utsträckning bakåtkompatibel. De flesta kommer inte få problem av en uppdatering, men läs gärna mer om skillnaderna mellan PHP 5.5 och tidigare versioner av PHP.

Bland de nya funktioner som PHP 5.5 erbjuder märks bl a förbättrad bildhantering (med GD), möjlighet att skapa ”generators” (egna funktioner som kan spara sitt läge mellan olika körningar), förbättrad lösenordshantering samt nya tillägg för cURL (bl a förenklad e-posthantering).

Dessutom introducerar PHP 5.5 stöd för OPcache, vilket vi likaså har aktiverat för våra webbhotellskunder. OPcache förbättrar prestandan i PHP ytterligare genom att spara PHP-kod i serverminnet för ännu snabbare åtkomst.

En enkel jämförelse av PHP 5.4 och PHP 5.5 visar en hastighetsförbättring på 10-15 % (på en vanlig WordPress-sida). Hastigheten lär bli ännu bättre i takt med att fler utvecklare integrerar de nya möjligheter som PHP 5.5 erbjuder.

Så här kör du PHP 5.5 hos oss

Med webbhotell hos oss väljer man enkelt sin PHP-version i vår kontrollpanel, under ”Hemsida” > ”PHP”. Det går att välja en PHP-version för ett helt konto eller olika mappar. Så testa gärna att byta till PHP 5.5. Om något inte fungerar som det ska så är det enkelt att byta tillbaka till PHP 5.4 (eller PHP 5.3 och PHP 5.2 som vi likaså har stöd för).

Har du testat PHP 5.5 än? Vad tycker du om det? Lämna gärna en kommentar här nedan!

apr 25 2013

Raspberry Pi-yra i Helsingborg

Som ni säkert vet så lanserade vi, för knappt 2 veckor sedan, gratis colocation för Raspberry Pi. Det är en tjänst som baseras på vårt eget intresse och kärlek till denna mikrodator, en tjänst där man kan placera sin Raspberry Pi i en serverhall hos oss och få en egen IP-adress med blixtsnabb uppkoppling mot hela världen.

En rätt så nördig, men väldigt rolig, liten tjänst helt enkelt.

Gensvaret på vår Raspberry Pi colocation har varit helt otroligt! Den har diskuteras vitt och brett, från Sweclockers och Geekboy till Hacker News och Slashat. Antalet glada tillrop har varit många även på Facebook och Twitter.

Efter knappt 2 veckor är vi nästan uppe i 200 kunder med vår Raspberry Pi colocation. Det tar givetvis lite tid för alla att skicka in sina enheter till oss, men snart har FS Data sannolikt Sveriges mest Raspberry Pi-täta serverhall.

Här är några bilder på hur det ser ut just nu:

Gott om plats kvar för fler Raspberry Pi-enheter

Rätt så fräckt va? 🙂

Vad är det då våra kunder kör på sina Raspberry Pi-enheter hos oss?

Bland de saker som vi hört talas om (nej, vi övervakar inte detta aktivt) så nämns bl a övervakningstjänster, små LAMP-servrar, e-postservrar, IRC-servrar och proxyservrar.

Kör du, eller ska du köra, en Raspberry Pi hos oss? Berätta gärna vad du ska köra i en kommentar här nedan!

Tips och vanliga frågor om vår Raspberry Pi colocation

Sedan vi startade denna tjänst så har vi stött på ett flertal roliga och några mindre roliga situationer. Här kommer några generella tips samt svar på vanliga frågor om denna tjänst.

– Du vet väl att du kan komma förbi vårt kontor, vid Sundstorget i Helsingborg, och lämna in din Raspberry Pi? Vi bjuder gärna på kaffe och en rundtur i vårt fräcka kontor!

– Tänk på att paketera/emballera din enhet ordentligt. Skicka inte enheten med SD-kortet monterat (lägg det i en separat plastpåse/zippåse). Flera enheter har inkommit med skadade case pga bristfälligt emballage. Vi kan givetvis inte ta ansvar för detta.

– Glöm inte bort att ange avsändaren till din enhet. Vi märker upp alla enheter (se bilderna ovan) och har ett separat register över dem. Man får givetvis märka upp sin enhet själv om man så önskar det.

– Strömadaptern får gärna vara kompakt och sladden bör vara ca 1,5 m lång. Här är ett exempel på en bra adapter: Power Supply Micro USB, Plugin för Raspberry Pi. Strömadaptern märks likaså upp av oss.

– För lagring till din enhet, använd ett SD-kort. Vi kan inte ta emot enheter med långa USB-stickor eller externa hårddiskar av förklarliga skäl. En Raspberry Pi med case är ca 10 cm lång. Utöver detta kan SD-kortet sticka ut någon centimeter. Om du inte följer detta, då måste vi tyvärr skicka tillbaka din enhet.

– Vad har vi för förbindelse till våra serverhallar? Vi har en redundant förbindelse på 1 Gbp/s, med möjlighet att snabbt utöka detta vid behov. Varje Raspberry Pi-enhet tilldelas 100 GB trafik/månad, med en förbindelse på 1 Mbit/s. Detta är en högkvalitativ förbindelse som inte går att jämföra med t ex en vanlig bredbandsuppkoppling.

– Vad kan man få hjälp med? Vi kan t ex sätta upp reverse DNS-pekare, byta SD-kort, starta om en enhet osv. Dvs, det som brukar ingå i en colocation-tjänst. Dessutom ingår vår smidiga domänhantering, som vi även har support till. Vi kan dock inte hjälpa er att t ex sätta upp failover, skapa ett kluster osv (eller jo, det kan vi men då kostar det en slant).

– När vi har emottagit och kopplat upp en enhet så kontaktar vi givetvis kunden ifråga och meddelar detta. Just nu är det många enheter som kommer in till oss, men våra tekniker arbetar övertid för att se till att alla enheter kopplas upp så snabbt som möjligt.

– När det gäller helt nya köp av Raspberry Pi-enheter så kan vi varmt rekommendera www.r-pi.se, som tidigare arrangerade Raspberry Jam i Helsingborg (där vi först annonserade denna tjänst). Vi har köpt ett flertal enheter själva därifrån och är väldigt nöjda med dem.

– Hur många enheter får man skicka in? Vi har inte begränsat antalet enheter egentligen, men försök att inte skicka in fler än 4 st Raspberry Pi till oss. Åtminstone inte så här inledningsvis. Vi vill att så många som möjligt ska kunna ta del av denna tjänst.

Sist, men inte minst, så vill vi visa upp den – i våra ögon – stiligaste enheten som vi fått in (hittills):

Och som alltid, lämna gärna en kommentar här nedan om ni har några som helst frågor!

nov 30 2012

Planerat servicefönster, tisdag 4/12

En ny månad innebär ett nytt servicefönster här på FS Data. December bjuder på ett stort antal uppgraderingar och förbättringar i vår tekniska miljö. Nästa servicefönster inträffar tisdag 4/12 från kl. 22:00.

Här är en liten sammanfattning av det planerade arbetet under nästa servicefönster:

– Uppgradering av PHP

Vi kommer att uppgradera PHP på samtliga Linux-baserade webbservrar. Den version som nu installeras blir PHP 5.3.19 (från PHP 5.3.10) och PHP 5.4.9 (från PHP 5.4.0). Dessa uppgraderingar ska vara bakåtkompatibla med tidigare versioner inom samma underversion. Vi erbjuder sedan tidigare även stöd för PHP 5.2.17.

Detta kommer att kräva omstarter av PHP, vilket påverkar hemsidor på berörda servrar (alla Linux-baserade webbservrar) under några minuter. Uppgraderingarna sker fortlöpande under servicefönstret.

Kunder hos oss väljer själva enkelt sin PHP-version via vår kontrollpanel, under ”Hemsida” > ”PHP”.

– Uppgradering av VPS-miljö

Vi kommer att genomföra en uppgradering av vår ena VPS-miljö. Detta berör alla VPS-kunder med ett konto hos oss sedan 6 månader tillbaka. Under arbetet kommer vi nämligen vara tvungna att starta om VPS-miljön, vilket även startar om berörda VPS:er. Detta arbete beräknas ta ca 30-40 minuter.

– Uppdateringar Windows-servrar med drifttjänst

Vi kommer att genomföra ett större antal systemuppdateringar för Windows-servrar med vår drifttjänst. Det är ett 10-tal servrar som berörs av detta och varje uppdatering tar ca 10-15 minuter med en omstart av respektive server.

– Uppgradering av backupmiljö

Vi kommer att uppgradera servermiljön för vår backuptjänst Online Backup. Det är en kombinerad säkerhets- och funktionalitetsuppgradering, som bl a medför bättre stöd för Mac-baserade klienter. Denna uppgradering kommer att ta ca 30-40 minuter.

Det kommer inte vara möjligt att ansluta till backuptjänsten under denna tid och säkerhetskopieringar som är schemalagda till denna tid kommer att senareläggas för körning efter uppgraderingen.

– DNS-konfiguration Exchange

Vi kommer att lägga om DNS-konfigurationen i vår e-postmiljö (Exchange). Detta påverkar inte tillgängligheten i våra e-posttjänster. Efter detta kommer det vara möjligt att skapa e-postkonton m.m. innan domäner har pekats om till oss.

Under servicefönstret kommer vi att ha ett flertal tekniker på plats. Alla uppgraderingar är ordentligt planerade och testade. Om någonting oväntat ändå uppstår så har vi möjlighet att backa uppgraderingarna. Vår driftstatus kommer även att uppdateras till detta servicefönster.

Om ni har några frågor kring detta, lämna då gärna en kommentar här.