Firmafon

En uheldig uge i Firmafon: Et problem kommer sjældent alene

Written by Sidsel Forchhammer | 03-10-14 15:00

Den sidste uge har vi været ramt af en række ekstraordinære tekniske problemer. Det er desværre gået ud over vores kunder, og det vil vi gerne beklage dybt!

Vi har løbende holdt vores kunder informeret gennem vores statussystem, men i lyset af situationens alvor føler vi, at vi skylder vores kunder en dybere orientering.

Det er vores fornemste opgave at undgå, at vores kunder oplever fejl. Men når det sker, så står vi selvfølgelig ved vores ansvar. Derfor giver vi i denne blogpost en kort forklaring på, hvad der er sket - og et indblik i hvad vi gør for at undgå fejl i fremtiden.

En forfærdelig uge

Fejlene, som opstod fredag d. 26. september og desuden kom i en stime i denne uge, har ingen forbindelse med hinanden. Det er sort uheld, at de alle ramte samtidig.

Fredag: 
Vores web- og smartphone apps crashede på grund af en fejl i en softwareopdatering. Efter en halv time var fejlen fikset og systemet var oppe at køre igen.

Mandag: 
Mandag var den værste dag. Her var der en databasefejl hos vores netværksleverandør som gjorde, at mange kunder oplevede problemer med opkald til og fra deres telefoner (flere mobilselskaber blev påvirket af fejlen). Desuden var der i en times tid problemer med nummerflytning.

Tirsdag: 
Databasefejlen fortsatte tirsdag. Indtil problemet blev løst oplevede kunderne problemer med opkaldene - dog i mindre grad end mandag.

Onsdag + Torsdag: 
Forsinkelse i web-app og smartphone apps fra onsdag kl 21 til torsdag kl 9.30. Problemet blev først opdaget kl 8 og var løst efter halvanden time.

Hvad vil vi gøre for at undgå at det sker igen?

Når man har med kompleks teknologi at gøre, så vil der altid være en lille risiko for, at ting kan gå galt. Men her er, hvad vi vil gøre for at minimere risikoen i fremtiden:

  1. Vores overvågningssystem og vagtordning fangede og udbedrede fejlene, men vi har efterfølgende konkluderet, at alarmeringen kunne ske hurtigere og er påbegyndt en forbedring af vores overvågningssystem.

  2. Vores netværksleverandør oplevede et nedbrud, der startede med en diskfejl. Den pågældende server var i en redundant konfiguration, men uheldigvis var en indstilling fejlkonfigureret således, at nogle kald blev afvist på de redundante servere. Den pågældende indstilling er nu justeret så et evt. fremtidigt tilsvarende nedbrud ikke vil påvirke driften.

På hele Firmafons vegne får vores kunder hermed en uforbeholden undskyldning for en oplevelse, der er langt under det niveau, vi forventer af os selv. Vi forstår, at en forsikring om, at der er tale om helt usædvanlige omstændigheder, ikke er meget værd for jer – vi skal være dygtige nok til at beskytte vores kunder mod disse. Men vi håber, I vil give os en chance for at bevise, at vi kan være en markant bedre leverandør fremadrettet.