Googlebot

Googlebot er navnet på Googles crawler: programmet som besøker sidene på nettet, følger lenker og henter innhold hjem til Googles indeks. Alt som kan rangere i Google, har Googlebot vært innom først. Fri tilgang for Googlebot er derfor en grunnforutsetning i teknisk SEO.

Googlebot crawler med en mobil user agent, fordi Google indekserer mobilversjonen av nettet først. Crawleren henter HTML-en deres, følger interne lenker og sitemaps, og kommer tilbake med en frekvens som avhenger av nettstedets størrelse, autoritet og oppdateringstakt, det som kalles crawl budget. Googlebot kan også rendere JavaScript, men rendering koster ressurser, så innhold som først oppstår i nettleseren, kan bruke lengre tid på å komme inn i indeksen enn innhold som ligger rett i HTML-en. Tilgangen styrer dere selv i robots.txt.

Googlebot deler i dag nettet med en voksende flokk AI-crawlere, blant dem GPTBot fra OpenAI og PerplexityBot, og med Google-Extended kan dere styre om Google får bruke innholdet til å trene modellene sine. Forskjellen ligger i konsekvensen. Blokkerer dere en AI-crawler, forsvinner dere fra den tjenestens svar, mens rangeringene i Google står urørt. Blokkerer dere Googlebot, ryker dere ut av både søkeresultatene og AI Overviews, som bygger på samme indeks. Hele kjeden fra crawl til indeks ligger i guiden om crawling og indeksering.