Crawl budget

Crawl budget er mengden sider en søkemotor henter på et nettsted innenfor en gitt periode. Google fastsetter budsjettet ut fra to forhold: hvor mye serveren kan levere uten å bli treg (crawl capacity), og hvor stor interesse Google har i innholdet, målt på popularitet og oppdateringsfrekvens (crawl demand). Budsjettet finnes ikke som ett tall noe sted, men aktiviteten kan følges i crawl-statistikken i Google Search Console.

For nettsteder med noen hundre eller få tusen sider er budsjettet ingen flaskehals. Problemet oppstår i stor skala: nettbutikker med fasettert navigasjon, der filtre og parametre kan generere millioner av URL-varianter, eller mediesider med mange års arkiv. Går budsjettet til endeløse filterkombinasjoner, redirect-kjeder og dupliserte varianter, kommer de viktige sidene sjeldnere gjennom, og nytt innhold venter lenger på indeksering.

Serverhastighet inngår direkte i regnestykket, siden crawl capacity måles i hva serveren tåler. Raskere svartider gir flere hentede sider for samme kapasitet. Robots.txt, sitemapet og den interne lenkestrukturen avgjør hvor crawlerne legger besøkene sine.

AI-crawlere som GPTBot og PerplexityBot teller ikke inn i Googles crawl budget, men trekker på samme server og har nytte av den samme rene URL-strukturen. Poenget i SEO er uendret: en side ingen crawler kommer fram til, får aldri sjansen til å rangere. Selve crawl-optimaliseringen hører til guiden om crawling og indeksering.