Én linje i robots.txt skal kunne stoppe AI-træning på dit site

Google, Anthropic, OpenAI og Microsoft har meddelt, at de støtter et nyt direktiv i robots.txt. Det skriver SiliconANGLE og Engadget, som gengiver virksomhedernes meddelelser. Med direktivet kan udgivere angive, at deres indhold ikke må scrapes til træning af generativ AI. Meddelelsen kom omkring 30. oktober 2026.

Robots.txt er en lille tekstfil på en hjemmeside, som fortæller automatiske programmer (crawlere), hvad de må og ikke må hente. Scraping betyder, at et program henter indhold fra hjemmesider i stor stil.

Én regel i stedet for mange

I dag skal en hjemmesideejer identificere hver enkelt crawler og skrive separate regler for hver udbyder. Med det nye signal kan man ifølge SiliconANGLE blokere AI-træningsscrapere med én enkelt post.

Ifølge Engadget kan udgivere forbyde scraping på hele sitet eller tillade det for udvalgte dele, for eksempel en presseafdeling.

Signalet gælder ikke for AI-modeller, der udelukkende udfører ikke-generative opgaver. Det påvirker heller ikke almindelig webcrawling eller søgeindeksering.

Virker kun fremadrettet

Signalet kan ikke fortryde tidligere scraping. Indhold, der allerede er hentet, er stadig hos virksomhederne. Det forhindrer kun fremtidig scraping.

Hvornår gælder det?

Ifølge Engadget understøtter Anthropic allerede direktivet. Microsoft begynder at understøtte det 1. februar 2027, og OpenAI har lovet at indføre det »i de kommende måneder«. Google har oplyst, at det følger i begyndelsen af 2027. SiliconANGLE skriver, at Google følger »næste år«.

Google vil ifølge Engadget fortolke signalet som en instruks til brugeragenten Google-Extended, som bruges til Gemini-træning.

Meta har ifølge SiliconANGLE udtrykt støtte, men har ikke forpligtet sig til at indføre signalet.

Microsoft vil desuden tilbyde en indstilling kaldet »AI Grounding«. Den skal give hjemmesideejere mulighed for at forhindre, at Microsofts tjenester sender forespørgsler, der bruges til at besvare brugeres spørgsmål.

Vejen mod en standard

Forslaget er ifølge Engadget indsendt til IETF, der udvikler internettets tekniske standarder, med henblik på optagelse i Robots Exclusion Protocol. Engadget skriver, at forslaget stammer fra Anthropics Kevin Kelley.

For almindelige hjemmesideejere og udgivere kan det på sigt gøre det enklere at sige fra over for AI-træning. Hvor meget det batter, afhænger af, hvornår og hvor bredt virksomhederne faktisk tager signalet i brug.