START: 2019-12-13 kl. 13:27
STOPP: 2019-12-13 kl. 16:04
Konsekvenser: Sporadiske og langvarige brudd for samtlige tjenester.
Kl. 13:27 varslet våre overvåkingssystemer om unormalt mange nettforbindelser i vår firewall. Problemene vedvarte sporadisk i nokså nøyaktig 60 minutter inntil samtlige tjenester ble helt utilgjengelige kl. 14:29. Alle tjenester var tilbake i normal drift kl. 15:59.
Feilsøk blir igangsatt umiddelbart. I påvente av en avklaring med nettleverandør (GlobalConnect), forsvinner imidlertid symptomene etter ca. 20 minutter. Mens våre driftsteknikere forsetter arbeidet med å undersøke hva som kan ha vært årsaken til feilen stopper all trafikk kl. 14:29.
Prober rapporterer om skyhøy conntrack-tabell i vår firewall (http://conntrack-tools.netfilter.org). Dette er ofte er en indikasjon på et DDoS-angrep. På grunn av manglende hjelp, og tilbakemelding, fra nettleverandør, er vi imidlertid ikke i stand til å fastslå årsaken, eller avhjelpe situasjonen. Etter omsider å ha fått tak i riktige ressurser hos nettleverandør blir det utført en omstart av firewall som umiddelbart løser alle konnektivitetsproblemer.
Den underliggende årsaken til problemene med vår firewall er ennå ikke identifisert. På grunn av direkte konsekvenser forårsaket av feilen har vi heller ikke tilstrekkelig loggmateriale tilgjengelig. Muligheter inkluderer pakkestorm i eget nett, eller kjernefeil/bug i firewall.
Problemene ble oppdaget umiddelbart da feilsituasjonen oppstod, og feilsøk igangsatt raskt og effektivt. Det tok imidlertid for lang tid før varsel ble sendt ut, status ble ikke oppdatert hyppig nok, og det tok for lang tid å rette feilen.
Følgende endringer vil bli utført umiddelbart for å forhindre at noe liknende skjer igjen:
En bedre redundans for firewall er også underveis, men dette er et allerede pågående prosjekt som vi forventer kommer til å vare inn i 2021.
Eventuelle tekniske detaljer kan utleveres på forespørsel ved henvendelse til Kundeservice på post@syse.no.