LLM-overvåking

I klassisk search slipper dere å finne opp målingen selv. Search Console, rank tracking og GA4 forteller hvor dere står og hva som endrer seg. I AI-search finnes ingenting av det. ChatGPT, Gemini, Copilot og Perplexity leverer ingen dashbord over hvor ofte merkevaren deres nevnes, eller hvilke sider som blir sitert. Vil dere vite det, må dere måle det selv.

Det er hele poenget med LLM-overvåking: å gjøre synligheten i språkmodellene til noe dere kan se, følge og handle på, i stedet for noe dere hører om når en kunde tilfeldigvis nevner det.

Behovet er ikke teoretisk. ChatGPT har rundt 800 millioner ukentlige brukere, informasjonssøk er nesten doblet som bruksområde på ett år, og Norden ligger på topp i Europa i AI-bruk. Kundene deres spør allerede en modell om anbefalinger i kategorien deres. Spørsmålet er bare om dere vet hva den svarer.

Hva dere skal måle

Synlighet i språkmodeller har flere lag, og de forteller hver sin historie:

• Brand mentions. Blir merkevaren nevnt når modellen svarer på spørsmålene kundene faktisk stiller? Det er den rå synligheten, og den kan være der uten at en eneste av sidene deres blir sitert, fordi modellen også kjenner dere fra treningen sin.
• Citations. Når modellen søker på nettet, hvilke sider bygger den svaret på? Her måler dere om innholdet er siterbart, og det er den delen dere mest direkte kan påvirke.
• Share of voice. Hvem nevnes ellers? At dere omtales i tre av ti svar, betyr noe helt forskjellig avhengig av om konkurrenten er nevnt i ni eller i to.
• Hvordan dere blir beskrevet. Hva sier modellen egentlig om dere? En modell som beskriver dere feil, utdatert eller upresist, er et problem ingen rank tracker fanger opp, og det er ofte her den raskeste gevinsten ligger.
• Effekten. Henvisningstrafikk fra AI-flatene ser dere i GA4, og serverloggene viser om crawlere som GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot og Google-Extended i det hele tatt henter sidene deres. Litt trafikk med høy intensjon kan godt være mer verdt enn mye trafikk uten.

Metoden: et fast promptsett, kjørt systematisk

Kjernen i pålitelig LLM-overvåking er den samme som i all annen måling: sammenlignbarhet over tid.

1. Bygg et promptsett som speiler kundereisen. Ta utgangspunkt i spørsmålene virkelige mennesker stiller en assistent, fra det brede ("hvordan velger man en leverandør av X") via det sammenlignende ("hvem er best i Norge på X") til det konkrete ("hva koster X vanligvis"). Har dere gjort en klassisk søkeordsanalyse, er den et godt utgangspunkt, men promptene skal skrives som hele spørsmål.
2. Kjør settet på tvers av flatene. ChatGPT, Gemini, Copilot, Perplexity, Claude og gjerne Google AI Overviews. Flatene velger kilder ulikt, så et samlet bilde krever dem alle.
3. Registrer det samme hver gang. Ble dere nevnt, ble dere sitert, hvem ellers ble nevnt, og hvordan ble dere beskrevet.
4. Gjenta med faste mellomrom. Enkeltmålinger er øyeblikksbilder. Det er kurven som forteller om innsatsen virker.

Et ærlig forbehold hører med: språkmodeller er ikke deterministiske. Samme prompt kan gi ulike svar fra gang til gang, og modellene oppdateres løpende. Konsekvensen er ikke at måling er meningsløst, men at dere skal måle på mønstre framfor enkeltsvar. Kjør hvert prompt flere ganger, jobb med andeler framfor absolutte tall, og la være å feire eller få panikk over ett svar.

Norsk stiller i tillegg et krav mange glemmer: kjør promptene på norsk. Modellene svarer med andre kilder på norsk enn på engelsk, og det er de norske svarene kundene deres ser.

Fra måling til handling

Overvåkingen er bare halve jobben. Verdien kommer når resultatene styrer prioriteringen. I praksis peker målingene typisk på tre slags oppgaver: sider som skal gjøres siterbare, fordi konkurrentene vinner citations på spørsmål dere burde eie, hull i innholdet der ingen av sidene deres kan bære et svar, og misvisende beskrivelser som krever at dere gjør deres egen fortelling tydeligere og mer konsistent på tvers av nettet.

Selve analysedelen har vi som egen leveranse i promptanalysen, og optimaliseringsarbeidet i generativ AI-optimalisering. Hvordan de enkelte flatene velger kildene sine, går vi gjennom i guidene til ChatGPT og Perplexity. Perplexity er verdt å begynne med, nettopp fordi den viser kildene sine åpent og dermed er den mest lærerike flaten å studere.

Hos oss gjøres ikke dette arbeidet for hånd. Det ligger på Morrison, vår egen AI content ops-plattform, som leser hele nettstedet til kunden, lærer merkevaren fra kundens egne dokumenter og kobler seg på performance-data. Da henger overvåking, analyse og gjennomføring sammen framfor å bo i hvert sitt regneark. Det er verktøyet bak arbeidet, og poenget er systematikken: det er den som skiller LLM-overvåking fra å stille ChatGPT et spørsmål nå og da.

Start i det små, men systematisk

Start i det små, men systematisk: ti til tjue prompt, fire flater, én fast månedlig kjøring, ett regneark. Det er nok til å se mønstrene og velge de første tiltakene, og betydelig bedre enn å vente på det perfekte oppsettet. Synlighetsmåling i klassisk search har sin egen guide i synlighetssporing, og de to hører sammen: samme kundereise, flere flater.

Et samlet bilde av hvor dere står i dag begynner med en gratis SEO-analyse. Den utarbeides manuelt og dekker klassisk search og AI-search under ett, rett og slett fordi det ikke lenger gir mening å måle det ene uten det andre.