Det var et globalt kaos efter it-nedbrud. Natten til fredag d. 19/7 2024 bredte sig et it-nedbrud med voldsom effekt på større systemer. Rapporter indløb om totalt kaos i flyselskaber, lufthavne, pengeinstitutter, ja selv McDonald måtte lukke butikker. Australien er flere timer foran os, så allerede natten til fredag indløb rapporter om kaos i banker, butikker og lufthavne i Australien.
Hurtig forklaring
Der herskede stor forvirring om, hvilke systemer der var ramt. Først forlød det, at det var Windows 10 maskiner, men hurtigt stod det klart, at problemerne opstod i online-løsninger, altså infrastrukturen, Office 365 eller rettere Azure serverne under den.
Microsoft sendte beskeden ”We’re investigating an issue impacting users ability to access various Microsoft 365 apps and services.”
Microsoft var overraskende ærlig og hurtig til at tage mere skyld end nødvendigt, da de oplyste at brugere havde problemer med at tilgå visse af selskabets programmer og tjenester, og at de arbejdede intens på at løse det. Microsoft tabte ansigt og blev nævnt massivt i pressen. Men de ville begrænse det ved at lægge sig fladt ned, og ikke engang skylde skylden på CrowdStrike, som ser ud til at være i hvert fald halvdelen af årsagen.
Private med Windows PC kunne beroliges, men selv disse anvender jo ofte Office 365 services.
Falcon
På det tidspunkt havde it-nørder for længst i diverse blog skrevet helt konkret, hvilke systemer og filer der startede lavinen. Der er tale om et globalt kaos efter it-nedbrud, som tilsyneladende skyldes en opdatering af antivirusprogrammet Falcon fra CrowdStrike. Opdateringen får computere, der bruger visse Microsoft-systemer til at gå i sort. Eller rettere i blåt for man kunne tidligt læse på amerikanske it-sites, at “numerous accounts of Windows 10 PCs crashing, displaying the Blue Screen of Death (BSOD), then being unable to reboot”.
Falcon er markedsledende indenfor sikkerhedssoftware til cloud-løsninger. Læs mere om Falcon og CrowdStrike i fakta-boksen nederst.
Intet hurtigt fix
Om morgenen dansk tid var der flere bud på løsning, som denne
“There is a faulty channel file, so not quite an update. There is a workaround:
1. Boot Windows into Safe Mode or WRE.
2. Go to C:\Windows\System32\drivers\CrowdStrike
3. Locate and delete file matching “C-00000291*.sys” 4. Boot normally.“
Men så nemt var det ikke, for senere tilføjedes “That workaround won’t help everyone though, and I’ve no further actionable help to provide at the minute”. Både Microsoft og CrowdStrike udsendte flere status om at afhjælpning var på vej.
Crowdstrike udgav senere en rapport om fejlen i form af External Technical Root Cause Analysis.
Det tager tid
CrowdStrike har udsendt manuelle instruktioner til, hvordan folk kan løse problemet på individuelle berørte computere. Men i skrivende stund er der ikke en automatisk løsning på problemet. IT-afdelinger kan muligvis løse dette problem hurtigt ved blot at slette de berørte computere og gendanne dem fra sikkerhedskopier. Nogle kan muligvis “rulle tilbage (roll-back)” til en tidligere version af den berørte Falcon-version på deres computere. Det er også muligt, at nogle it-teams manuelt skal løse problemet på deres organisations computere og cloud-løsninger manuelt en ad gangen. Men cloud løsninger venter på Microsofts nåde.
Man kan forvente, at det i mange organisationer vare dage og måske uger før problemet kan løses helt.
Kunne det være undgået
Hvis nu det var virksomhedernes egne driftsmiljøer, ville enhver IT-afdelingen vide, og være forberedt på, at kunne rulle tilbage til før opdateringen. Men da det, der går galt her, ligger ude i Cloud, er ens sikkerhed baseret på systemleverandørernes sikkerhed.
Her er infrastrukturen så kompleks, og rammer virkeligt mange Worldwide, at man ikke “bare” kan køre sådan en opdatering tilbage. Det lyder til, at den “defekte” opdatering har fået systemet til at skrive ned (ødelægge) nogle filer, som ikke er en del af Falcon antivirus men styresystemet. Da Falcon er et ret avanceret sikkerhedssystem, som ikke bare skal advare ved virus men også reparere det, har Falcon ret til at ændre i styresystem, – den ret blev fatal her.
For virksomheder som CrowdStrike er det en rettidig påmindelse om at være mere forsigtig, når de udsender automatiske opdateringer til deres produkter. Og for virksomheder som Microsoft er det en rettidig påmindelse om at være mere kritiske, når de implementerer automatiske opdateringer til deres produkter.
Men, men..
Det kan undre, at CrowdStrike ikke har testet en opdatering bedre, end dette kunne ske. Det kan undre, at Microsoft indlæser opdateringen uden at sikre sig mod så alvorlige fejl. Det kan undre, at Microsoft indlæser samme opdatering Worldwide samtidigt, når nu de faktisk ejer adskillige driftscentre / serverparker verden rundt. Microsoft tabte ansigt i dag. CrowdStrike tabte endnu mere ansigt i dag.
Børsen reagerede straks. Microsoft faldt 2 % og CrowdStrike faldt 10 % da børserne åbnede. Det retter sig nok over tid selvom tilliden til systemerne dalede. (Red.: 2 børsdage efter hændelen, er kursen på CrowdStrike faldet 30 % siden hændelsen)
Politisk reaktion
CNN skrev, at den britiske regering har holdt et hastemøde for at diskutere det globale it-nedbrud. Ifølge TV2 følger Det Hvide Hus dagens nedbrud tæt og undersøger konsekvenser af den. Den amerikanske præsident, Joe Biden, er blevet orienteret om det globale massenedbrud, der forstyrrede driften på tværs af flere industrier fredag, oplyser Reuters.
I Belgien og Holland er man allerede begyndt at diskutere det her. Det tyder jo på, at man ikke har nogen særligt gode beredskabsplaner rundt omkring i EUs lande, siger TV 2s EU-korrespondent Lise Toft Hessellund.
Også EU-Kommissionen og NATO opfordrer fredag medlemslande til at styrke beredskabet i lignende situationer, lyder det fra korrespondenten.
Der er ingen tvivl om, at dagens hændelse er vand på EU´s mølle i arbejdet for mere kontrol med IT-anvendelserne. Men det tyder også på, at både beredskabsplaner og sikkerhedspolitik skal ses efter mange steder.
Effekten på sigt
Det var ikke en katastrofe, at en bank, butikskæde og en lufthavn ikke fungerede et døgns tid, men mængden af ramte systemer og virksomheder over hele verden gør det til en katastrofe. Vi har hørt at alarmsystemer var nede, og også hospitaler var ramt. I f.eks. England kunne man hverken tilgå patientjournaler eller bookingplatformen til konsultationer eller tilgå recepter. I Tyskland aflyste man operationer i flere timer. Med omfanget og arten af konsekvenser, kan vi kalde det et globalt kaos efter it-nedbrud, – uden fortilfælde.
Men dette var læring i praksis. Alle fik set, hvor skrøbelig vores infrastruktur er. Der gik heller ikke længe, før gisninger om hackere og geopolitisk hacking opstod. Vi er jo i en tid, hvor vi hører om truslerne næsten dagligt.
Et indlæg på en amerikansk blog udtrykte det meget fint: “All the Putin´s, hackers, scammers, botnets and ransomware operators in the world can only dream of being able to do, what Crowdstrike has managed to achieve in one night“.
Faktabox.
Hvad er så CrowdStrike og Falcon? CrowdStrike er en amerikansk virksomhed indenfor cybersikkerhed med en global andel på teknologimarkedet. Falcon er et af dets softwareprodukter, hvis opgave er at overvåge, hvad der sker på de computere, som det er installeret på, og lede efter tegn på ondsindet aktivitet (såsom malware). For at opdage tegn på angreb skal Falcon overvåge computere og de interne systemer. Det skal også kunne låse trusler, hvis den opdager kommunikation med en potentiel hacker. Det betyder, at Falcon er tæt integreret med softwaren på de Microsoft Windows computere, den kører på.
Direktør George Kurtz fra CrowdStrike skrev i en post fredag: “We understand the gravity of the situation and are deeply sorry for the inconvenience and disruption. For the latest information that we will continuously update, please refer to the CrowdStrike website (https://crowdstrike.com/blog/statement-on-windows-sensor-update/…), my posts on LinkedIn, and my posts on X. I will continue to provide updates to our community and the industry as they become available.“
19.07.2024 Indlæg på CXO2’s blog på www.CxO2.dk/blog
Sådan abonnerer du på indlæg i denne blog:
Besøg LinkedIn udgaven og tryk på FØLG
eller besøg Facebook udgaven og tryk SYNES OM
#CrowdStrike #Falcon #TotaltNedbrud #ITnedbrud #kaos-i-lufthavne #sikkerhedspolitik #RollBack #GlobaltKaos #blue-screen-of-death #GeorgKurtz