Robots.txt

Robots.txt er en tekstfil i roten av domenet deres, typisk eksempel.no/robots.txt, som forteller crawlere hvilke deler av nettstedet de får besøke. Filen er det første en crawler slår opp før den går i gang, og den fungerer som trafikkreglene deres for alt fra Googlebot til AI-tjenestenes bots. Den er en liten, men viktig brikke i det tekniske SEO-arbeidet.

Reglene står i enkle blokker per user-agent, altså per crawler:

User-agent: *
Disallow: /handlekurv/

User-agent: GPTBot
Disallow: /

Sitemap: https://eksempel.no/sitemap.xml

Første blokk gjelder alle crawlere og stenger handlekurven. Andre blokk stenger én bot helt ute, her OpenAIs GPTBot. Sitemap-linjen viser crawlerne veien til XML-sitemapet, slik at de raskere finner alle viktige sider.

To ting filen ikke kan

Robots.txt er ingen sikkerhetsmekanisme. Den ligger offentlig tilgjengelig, og bare veloppdragne crawlere respekterer den. Og den fjerner ikke sider fra Googles indeks: en blokkert side kan fortsatt dukke opp i resultatene hvis andre lenker til den. Skal en side helt ut av indeksen, går veien gjennom de-indeksering med noindex.

Den mest aktuelle bruken av filen i dag er styring av AI-crawlere: GPTBot fra OpenAI, ClaudeBot fra Anthropic, PerplexityBot og Google-Extended, som styrer bruken av innholdet deres i Googles AI-modeller. Valget er strategisk: en blokkering holder innholdet utenfor AI-svar og trening, men fjerner samtidig nettstedet fra flater der stadig flere leter etter leverandører. Samspillet mellom filen, crawling og indeksen er nærmere beskrevet i crawling og indeksering.