Crawling

Crawling er prosessen der en søkemotors robot automatisk henter sider på nettet og leser innholdet på dem. Det er første ledd i kjeden fra crawling til indeksering til rangering: en side Google aldri har crawlet, finnes ikke i søkeresultatene, uansett hvor god den er.

Google finner sidene deres på tre måter: gjennom lenker fra sider den kjenner fra før, gjennom sitemapet deres, og gjennom URL-er den har besøkt tidligere og kommer tilbake til. Crawleren henter siden, rendrer den og registrerer innhold og lenker, som i neste ledd kan vurderes for indeksen. Frekvensen tilpasser seg nettstedet. En nyhetsseksjon som endres daglig får hyppige besøk, mens en statisk side kan gå uker mellom hvert gjensyn.

Crawling er ikke det samme som indeksering, og det er den vanligste forvekslingen. Roboten kan godt hente en side uten at den havner i indeksen, for eksempel fordi innholdet dupliserer en annen URL eller vurderes som for tynt. Motsatt vei krever indeksering alltid crawling først.

AI-tjenestene crawler nå på samme vis. GPTBot, ClaudeBot og PerplexityBot henter sider dels til trening, dels for å slå opp friske kilder mens et svar settes sammen. Et nettsted som er lett å crawle, er derfor synlig på to flater samtidig. Begge ledd er dekket i guiden om crawling og indeksering.