Oppsummering
I perioden 01.10.2020 - 12.10.2020 har vi opplevd sporadiske brudd på en av våre webservere. Problemene har dessuten medført sporadiske brudd for enkelte av våre databaseservere i hele perioden. Problemet ble eliminert mandag 12.10 kl. 09:00.

Hendelsesforløp
For å avverge angrep mot våre webservere er det etablert regler for å filtrere vekk uønsket trafikk. Etter en rekke angrepsforsøk den siste tiden ble omfanget av disse reglene så stort at det medførte knapphet på ressurser på enkelte servere. I sin tur medførte dette tregheter, og sporadiske brudd på webserveren. Disse treghetene fikk deretter konsekvenser for tilkoblede databaseservere som ble stående med svært mange åpne forbindelser som ikke ble lukket, og forårsaket i sin tur sporadiske brudd for kontoer på de berørte databaseserverne.

Feilen ble umiddelbart eliminert da antall regler for å filtrere vekk uønsket trafikk ble redusert.

Konklusjon
De ulike feilsituasjonene har for det meste vært varslet, og håndtert raskt og effektivt, men med enkelte unntak som skyldes at problemene har medført sporadiske og kortvarige feil som kan oppleves som lokale til enkeltkontoer, eller grupper av enkeltkontoer.

På grunn av omfang og symptomer har det imidlertid vært vanskelig å gjøre effektive feilsøk, og årsakssammenhengen mellom filtrering av trafikk og de sporadiske problemene var ikke åpenbar. Dette skyldes i sin tur, og i ytterste konsekvens, mangelfulle rutiner for endringshåndtering i våre systemer.

For å unngå at liknende feil skjer igjen, og for å underlette feilsøk i situasjoner hvor det er vanskelig, implementerer vi et nytt system for endringshåndtering på alle servere som gir økt transparens for driftspersonalet.

Vi beklager problemene dette har medført på det aller sterkeste!