AI-fejl fik næsten USA til at borde kinesisk skib

I foråret 2026 var det amerikanske militær tæt på at gå om bord på et kinesisk skib, fordi en kunstig intelligens (en computer, der kan skrive tekster og svare på spørgsmål, ligesom ChatGPT) havde lavet en falsk efterretningsrapport. Det skriver nyhedsmediet CNN, som først bragte historien. Rapporten cirkulerede under den amerikanske indsats i forbindelse med Iran-krigen og konkluderede, at skibet fragtede dele til et atomvåbenprogram.

Både militærfly og væbnede soldater stod klar til at gribe ind, da senior embedsfolk nåede at gennemgå de oplysninger, rapporten byggede på. De konkluderede, at rapporten var fuldstændig forkert. Operationen blev aflyst i sidste øjeblik.

Ifølge CNN's kilder opstod fejlen hos en analytiker ved en del af det amerikanske militær, der kaldes US Special Operations Command Pacific. Analytikeren brugte en AI-chatbot til at sammenholde offentligt tilgængelige oplysninger med hemmeligt materiale om skibets last. Det førte til en forkert konklusion. Rapporten blev derefter sat op som et færdigt dokument ved hjælp af endnu en forespørgsel til AI-værktøjet, før den blev sendt videre i systemet.

En kilde beskrev situationen over for CNN som noget, der »næsten startede en krig«, og pegede på, at enhver konfrontation med et kinesisk skib kunne have trukket de to lande ind i en direkte militær konflikt.

Både nyhedsmedierne TechCrunch og The Decoder, som også har dækket sagen, peger på et større problem: AI-værktøjer bliver brugt mere og mere i militærets efterretningsarbejde, men der findes ikke faste regler for, hvordan resultaterne skal kontrolleres, før de bliver sendt videre til beslutningstagerne. Jake Steckler, der forsker i AI og tidligere var officer i den amerikanske hær, siger til TechCrunch, at det er afgørende, at militærfolk forstår, at AI-sprogmodeller (AI-programmer, der er trænet til at forstå og skrive tekst) altid har en vis usikkerhed indbygget. Han peger på, at værktøjerne kan være nyttige, men kun hvis de bruges rigtigt og med de rette sikkerhedstjek, især når beslutninger kan føre til brug af magt.

The Decoder citerer desuden en kilde for, at »AI giver dig mulighed for at nå frem til en dårlig idé hurtigere«. Kilden peger på, at yngre analytikere har en tendens til at stole ukritisk på det, AI-værktøjet finder frem til.

Sagen er interessant, fordi den flytter fokus fra de store, abstrakte bekymringer om AI, som for eksempel at maskiner en dag bliver klogere end mennesker, til noget mere jordnært: systemer, der laver fejl, og som bliver brugt af travle eller ukritiske medarbejdere i situationer, hvor fejl kan få alvorlige konsekvenser. Det gælder ikke kun militæret. Enhver virksomhed, der lader en chatbot lave rapporter eller beslutningsgrundlag uden et grundigt menneskeligt tjek, kan i princippet risikere en mindre udgave af samme situation, bare uden fly i luften.

For danske virksomheder og myndigheder, der er i gang med at tage AI i brug til sagsbehandling, analyse eller rapporter, er pointen den samme som Steckler fremhæver: Det, en AI skriver, skal behandles som et udkast, der kræver kontrol, ikke som et facit.