Crawler

En crawler er et automatisert program som systematisk besøker sider på nettet, henter innholdet og følger lenker videre til nye sider. Søkemotorene bruker crawlere til å oppdage og oppdatere materialet indeksen bygger på. Googlebot er den mest kjente, men Bing, Apple og en voksende flokk AI-tjenester har hver sin.

En crawler starter med en liste over kjente URL-er og nettstedets sitemap, henter sidene, leser innholdet og noterer alle lenker på veien. Nye lenker havner i køen, og slik arbeider programmet seg gjennom nettet side for side. Moderne crawlere som Googlebot rendrer også JavaScript, så de ser siden omtrent slik en bruker gjør. Hvem som slipper til, styres i robots.txt, seksjon for seksjon.

En crawler avgjør likevel ingenting om rangering. Den henter bare sidene. Vurderingen av om en side skal indekseres, og hvor den eventuelt havner i resultatene, skjer etterpå i helt andre systemer. En side kan altså være crawlet uten å være indeksert.

Ved siden av søkemotorenes klassiske bots crawler AI-tjenester som GPTBot, ClaudeBot og PerplexityBot i stort omfang, både for å trene modeller og for å slå opp friske kilder. Valget om å åpne eller stenge for dem er blitt strategisk: stenges de ute, beskyttes innholdet, men navnet forsvinner samtidig fra AI-svarene. For synligheten i både klassisk search og AI-søk gjelder samme grunnregel som i all SEO: en crawler som ikke kommer inn, kan ikke vise sidene fram. Mekanikken bak dekkes i guiden om crawling og indeksering.