Hvis AI skal bruge indhold fra dit website, er det vigtigt, at siden kan hentes. En blokering kan gøre det sværere for AI-systemer at få adgang til informationen.

Med "Crawlability Checker" kan du undersøge, om forskellige AI-bots har tilladelse til at besøge en bestemt side, og om Klarvu kan hente den med bottens navn.

Sådan kører du et tjek

Du finder værktøjet under "Improve" → "Audit Tools" → "Crawlability Checker".

Siden hedder "Crawlability Checker — [brand]" og har undertitlen:

"Checks whether AI crawlers can fetch a given URL — robots.txt rules and a live fetch, per bot."

Indtast den side, du vil undersøge

Indtast sidens fulde URL i feltet med pladsholderen "https://example.com/page".

Feltet er på forhånd udfyldt med dit brands website. Du kan erstatte adressen med en anden side, også selvom den ligger på et andet domæne.

Du kan teste én URL ad gangen.

Start tjekket

Klik på "Run Audit".

Mens tjekket kører, viser knappen "Running audit...". Hvis der allerede er en URL, du har kørt et tjek på, kan du bruge "Re-run Audit" til at undersøge den igen.

Følg status

Klarvu opdaterer selv siden, mens tjekket kører. Du kan se teksten "refreshing automatically...".

Under "Audit status" kan du se, om tjekket står som "queued" eller "running".

Læs resultatet

Når tjekket er færdigt, finder du resultatet under "Server access check".

Her vises et kort for hver bot med dens navn, ejer og to statusmærker, som fortæller, om siden er tilladt i robots.txt, og om Klarvu kunne hente den.

Før du har kørt dit første tjek, står der "No audit yet". Hvis et tjek fejler, vises status "failed" sammen med en fejlbesked.

Siden viser det seneste resultat for den URL, du undersøger.

Forstå resultatet

Under "Server access check" får hver bot to mærker. De kan være grønne ("Allow") eller røde ("Block"). Det første mærke viser robots.txt-resultatet, og det andet viser live fetch.

De måler to forskellige ting:

Mærke	Hvad undersøger det?
robots.txt (første mærke)	Om dit websites robots.txt tillader botten at hente den konkrete URL-sti. Hvis botten ikke har sin egen regel, gælder den generelle regel (`*`).
Live fetch (andet mærke)	Om Klarvu kan hente siden med bottens navn som user agent. "Allow" betyder, at serveren returnerede en HTTP-status i 200-serien. "Block" viser en HTTP-kode eller en fejltype, hvis siden ikke kunne hentes.

robots.txt er en fil, hvor et website kan angive, hvilke sider bestemte bots må besøge.

Live fetch undersøger derimod, hvordan serveren reagerer på et konkret forsøg på at hente siden.

De to resultater er derfor ikke altid ens.

Hvad betyder de forskellige kombinationer?

Situation	Hvad betyder det?	Hvad kan du gøre?
robots.txt: "Allow" + Live fetch: "Allow"	Botten har tilladelse til at hente siden, og Klarvus test kunne hente den.	Ingen blokering er registreret i dette tjek.
robots.txt: "Block"	Dit website har en regel, der beder botten om ikke at hente siden.	Undersøg, om blokeringen er tilsigtet.
robots.txt: "Allow" + Live fetch: "Block"	robots.txt tillader adgangen, men Klarvu kunne ikke hente siden med bottens navn.	Undersøg, om en firewall, CDN eller bot-beskyttelse blokerer anmodningen.

Den sidste situation er især værd at være opmærksom på.

Hvis robots.txt tillader en bot, men live fetch viser eksempelvis "Block · HTTP 403", kan det skyldes, at dit website har andre adgangsbegrænsninger.

Det er ikke nødvendigvis noget, der skal ændres. Men det er relevant at undersøge, hvis du forventer, at botten skal kunne besøge siden.

Hvilke AI-bots bliver tjekket?

Klarvu undersøger 15 botnavne og regler fra forskellige AI-virksomheder og tjenester.

Ejer	Bots og regler
OpenAI	GPTBot, ChatGPT-User, OAI-SearchBot
Anthropic	ClaudeBot, Claude-User, Claude-SearchBot
Perplexity	PerplexityBot, Perplexity-User
Google	Google-Extended, GoogleOther
Apple	Applebot-Extended
Meta	Meta-ExternalAgent
ByteDance	Bytespider
Common Crawl	CCBot
xAI	GrokBot

Hvilke sider bør du undersøge?

Det kan være fristende kun at tjekke forsiden, men forskellige sider på dit website kan have forskellige adgangsregler.

Hvis Klarvu finder et problem, kan du bruge resultatet som udgangspunkt for at undersøge dit websites adgangsindstillinger.

Du kan også møde anbefalinger om tilgængelighed under kategorien "Crawlability" på siden Anbefalinger.

På siden Content Checker kan du undersøge indholdet på dine sider, og på en kommende side om "Agent traffic" gennemgår vi besøg fra AI-crawlere. På siden Kilder kan du se, hvilke sider AI faktisk citerer.

Ofte stillede spørgsmål

Skal jeg tillade alle AI-bots?

Det afhænger af, hvordan du ønsker, at dit indhold skal kunne bruges og tilgås.

"Crawlability Checker" viser dine nuværende adgangsregler og testresultater. Beslutningen om at tillade eller blokere en bestemt bot er din.

Hvorfor står der "Block · HTTP 403"?

Det betyder, at serveren afviste Klarvus forsøg på at hente siden med det valgte botnavn.

Det kan eksempelvis skyldes en firewall, CDN eller bot-beskyttelse. Undersøg dine adgangsindstillinger for at finde den konkrete årsag.

Jeg har ændret robots.txt. Hvornår kan jeg se resultatet?

Klik på "Re-run Audit" for at køre et nyt tjek.

Klarvu undersøger så reglerne og forsøger at hente siden igen.

Betyder "Allow", at AI vil citere min side?

Nej. "Allow" viser, at adgangen er tilladt eller lykkedes i testen.

Det er ikke en garanti for, at AI bruger eller citerer siden i sine svar. Det kan du undersøge separat under "Kilder".