START: 2019-06-11 kl. 06:50

STOPP: 2019-06-11 kl. 10:46

Konsekvenser: Nettsider utilgjengelige for enkelte kunder.

Oppsummering

Kl. 06:50 varslet våre overvåkingssystemer om unormalt mange forbindelser til en av våre databaserservere, h.db.tornado.no. Symptomene medførte at nettsider og applikasjoner ikke klarte å koble seg til databasen. Symptomene i seg selv, og omfanget, medførte at feilsøket ble vanskeliggjort. Tjenesten var tilbake i normal drift kl. 10:46.

Hendelsesforløp

Feilsøk ble igangsatt umiddelbart. Det var rent umiddelbart ingen indikasjoner på noe galt med serveren, og ingen unormale belastninger. Det var også den eneste serveren i vårt datasenter med problemer. Dette er karakteristisk for et angrep, men også dette ble eliminert som mulig årsak etter en stund. Det ble deretter gjort en rekke endringer i parametre i MySQL-konfigurasjonen som avdekket en konto med en uakseptabel arbeidsbelastning. Da kontoen ble stengt var tjenesten tilbake i normal drift.

Konklusjon

Problemene ble oppdaget og feilsøk igang satt raskt og effektivt. Det tok imidlertid for lang tid å lokalisere årsaken til problemene, og feilen ble heller ikke tilstrekkelig varslet.

Følgende endringer vil bli utført umiddelbart for å unngå at noe liknende skjer igjen:

1. Endring av MySQL-konfigurasjonen, dels for å øke ytelsen, dels for å eliminere muligheten for at slike problemer kan oppstå.

2. Det vil bli implementert en lavterskel varslingsrutine som er enklere å betjene enn dagens regime, slik at en stresset driftstekniker kan trykke på “den røde knappen” før feilsøket starter. Varslene vil bli publisert til vår statusside, og til abonnenter, på lik linje med de andre varslene.