Syns din sajt i ChatGPT och AI-sök?

Antagligen ja, om sidan är indexerad i Google och du inte blockerar AI-bolagens crawlers. Googles AI Overviews och AI Mode använder samma Googlebot och samma index som de vanliga sökresultaten, så syns du där kan du synas här också. ChatGPT, Perplexity och Claude har egna crawlers med egna user agents, och de stoppas av samma saker som brukar stoppa okända bots: en för hård robots.txt, ett säkerhetsplugin eller botskyddet hos CDN:et.

Tre saker avgör. Crawlern måste komma in, sidan måste ge ett svar som går att lyfta ut och citera, och du måste kunna se i loggen vad som faktiskt händer. Jag tar dem i den ordningen.

Så hämtar AI-sök innehåll

Varje leverantör har två eller tre bots med olika uppgifter, och det är viktigt att hålla isär dem eftersom robots.txt betyder olika saker för var och en. En typ samlar träningsdata till modellerna. En typ bygger ett sökindex, ungefär som Googlebot. En tredje typ hämtar en enskild sida i samma stund som en användare ställer en fråga, och den typen struntar ofta i robots.txt eftersom det är en människa som bett om sidan.

Det här är vad leverantörerna själva skriver i sin dokumentation, hämtad 2026-10-12.

User agent	Leverantör	Uppgift	Lyder robots.txt
GPTBot	OpenAI	Träning	Ja
OAI-SearchBot	OpenAI	Sökindex för ChatGPT search	Ja, ändringar slår igenom inom ungefär ett dygn
ChatGPT-User	OpenAI	Hämtar sidor när en användare frågar	I regel inte
PerplexityBot	Perplexity	Sökindex, inte träning	Ja
Perplexity-User	Perplexity	Hämtar sidor när en användare frågar	I regel inte
ClaudeBot	Anthropic	Träning	Ja
Claude-SearchBot	Anthropic	Sökindex	Ja
Claude-User	Anthropic	Hämtar sidor när en användare frågar	Ja
Google-Extended	Google	Styr Gemini-träning och grounding, ingen egen crawler	Ja

Två saker i tabellen är lätta att missförstå. Google-Extended är ingen crawler utan bara ett namn du kan skriva i robots.txt; hämtningen görs av Googles vanliga user agents. Blockerar du det slutar ditt innehåll användas för att träna Gemini och för grounding i Gemini-apparna, men enligt Google påverkar det varken indexering eller rankning, och AI Overviews nämns inte alls på sidan. Vill du bort från AI Overviews är det Googlebot du får blockera, och då försvinner du från vanliga Google i samma stund.

Det andra är att OpenAI skriver att det är OAI-SearchBot som avgör om du syns i ChatGPT search, inte GPTBot. Du kan alltså blockera träning och ändå bli citerad, och det är precis vad många mediesajter gör.

Troliga orsaker, i den ordning jag hittar dem

Du blockerar dem utan att veta om det

Det vanligaste är inte en medveten robots.txt utan ett botskydd som någon slog på för att slippa skräptrafik. Säkerhetsplugin med en inställning för ”dåliga bots”, CDN-lägen som stoppar allt som inte är en känd sökmotor, eller en robots.txt som en byrå skrev för fem år sedan med Disallow: / för alla utom Googlebot. Perplexity publicerar IP-listor för sina bots just för att så många brandväggar stoppar dem på user agent. Kolla robots.txt först, sedan CDN-panelen, sedan säkerhetspluginets logg över blockerade förfrågningar.

Sidan ger inget svar som går att lyfta ut

En modell som ska svara på ”hur stänger jag av cart fragments” letar efter ett stycke som faktiskt säger det. En sida som inleder med 400 ord om varför prestanda är viktigt och gömmer svaret mitt i ett långt avsnitt blir sällan citerad, hur bra den än rankar. Samma sak gäller sidor där svaret bara finns i en bild, eller i en tabell utan en mening som förklarar vad tabellen visar.

Sidan är inte indexerad, är långsam eller ligger bakom inloggning

Google kräver att sidan är indexerad och får visas med snippet för att komma med i AI Overviews, varken mer eller mindre. Sökindex-botarna från OpenAI och Anthropic fungerar som andra crawlers: de hämtar HTML, de loggar inte in och de väntar inte länge på en server som svarar efter tre sekunder. Ett medlemsplugin som visar en inloggningsruta för alla utan cookie ger dem en tom sida, och en tom sida citeras inte.

Du syns men mäter fel

Search Console särredovisar inte AI Overviews och AI Mode. Google skriver att trafiken ingår i den vanliga söktrafiken under söktypen Webb. Du kan alltså ha klick därifrån utan att se det som en egen rad, och du ser inte alls när du citerats utan att få klick. ChatGPT och Perplexity har inget motsvarande verktyg för sajtägare över huvud taget.

Så kontrollerar du

Serverloggen är det enda som ger säkert svar på om crawlers kommer in. På ett delat webbhotell får du kontrollera om du kommer åt åtkomstloggen alls; hos de flesta svenska leverantörer finns den under kontrollpanelen eller via SSH. Kommandot nedan räknar vilka sidor sök- och användarbotarna hämtat mest.

Terminalgrep -E "OAI-SearchBot|ChatGPT-User|PerplexityBot|Perplexity-User|Claude-SearchBot|Claude-User" access.log 
  | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Ser du OAI-SearchBot och Claude-SearchBot regelbundet är du med i deras index. Ser du bara ChatGPT-User och Perplexity-User betyder det att användare får dig som svar ibland, men att sökbotarna inte hittar in, och då är det robots.txt eller botskyddet som ska granskas.

Det andra sättet är att fråga själv. Skriv ner tio frågor som dina kunder faktiskt ställer, i deras ord, och ställ dem i ChatGPT med sök påslaget, i Perplexity och i Google AI Mode. Anteckna vilka domäner som citeras och var du själv hamnar. Gör om det en gång i månaden, för svaren ändras fortare än vanliga sökresultat.

Åtgärd

Släpp in crawlers i robots.txt

WordPress genererar robots.txt själv så länge det inte finns någon fysisk fil med det namnet i webbroten, och innehållet går genom filtret robots_txt i do_robots(). Filtret får två argument: texten som ska skrivas ut och värdet på inställningen ”Synlighet för sökmotorer”. Koden nedan lägger till ett block som uttryckligen tillåter sök- och användarbotarna, och den ligger i child-temats functions.php eller i ett eget litet plugin. Vill du tillåta sök men inte träning flyttar du GPTBot och ClaudeBot till ett eget block med Disallow: /.

PHP<?php
/**
 * Plugin Name: WPU AI Crawlers
 * Description: Appends explicit Allow rules for AI search and user-fetch crawlers to the robots.txt WordPress generates. Has no effect if a physical robots.txt exists in the web root.
 */

defined( 'ABSPATH' ) || exit;

// Priority 20: SEO plugins add their own rules at the default 10, and this block should come after them.
add_filter( 'robots_txt', 'wpu_ai_crawlers_robots', 20, 2 );
function wpu_ai_crawlers_robots( $output, $public ) {
	// A site hidden from search engines should stay hidden from AI search too.
	if ( ! $public ) {
		return $output;
	}

	// Verified against each vendor's own documentation 2026-10-12.
	// Google-Extended is a robots.txt token, not a crawler, but listing it makes the Gemini grounding opt-in explicit.
	$crawlers = [
		'OAI-SearchBot',
		'ChatGPT-User',
		'GPTBot',
		'PerplexityBot',
		'Perplexity-User',
		'Claude-SearchBot',
		'Claude-User',
		'ClaudeBot',
		'Google-Extended',
	];

	$rules = [ '', '# AI search crawlers are welcome; we want to be cited.' ];
	foreach ( $crawlers as $crawler ) {
		$rules[] = 'User-agent: ' . $crawler;
	}
	$rules[] = 'Allow: /';

	return rtrim( (string) $output ) . "n" . implode( "n", $rules ) . "n";
}

Öppna /robots.txt på sajten efteråt och kontrollera att blocket faktiskt syns. Gör det inte det ligger det en fysisk fil i vägen, eller så sitter ett cacheplugin och serverar en gammal version.

Gör sidan citerbar

Svaret ska stå först, i ett stycke som fungerar lösryckt. Det är samma regel som gäller för featured snippets, och det är inte en slump: AI-sök plockar stycken, inte sidor. Rubriker ska beskriva vad avsnittet svarar på, inte vara fyndiga.

Författare och datum ska synas i HTML, inte bara i ett schema. Article-schema med author och datePublished gör samma sak maskinläsbart, och FAQ-schema passar där du har riktiga frågor och svar. Google skriver att inget särskilt schema krävs för AI Overviews, och att schema skulle ge fler citeringar i ChatGPT har jag inte kunnat belägga, så lägg det inte överst på listan. Det kostar däremot inget när det redan finns i temat eller SEO-pluginet.

Sajten ska svara snabbt och ge hela innehållet i HTML från servern. Crawlers har en budget per sajt, och en sida som tar fyra sekunder att generera hämtas mer sällan än en som tar en halv. Allt som kräver inloggning, cookie-godkännande eller en JavaScript-körning för att visa texten är osynligt.

Fallgropar

Det vanligaste misstaget är att blockera GPTBot och tro att man blockerat ChatGPT. Man har blockerat träning, inget annat. Omvänt finns sajter som tillåter GPTBot men stoppar OAI-SearchBot i ett botskydd, och de ger bort innehåll till träning utan att någonsin bli citerade.

Det näst vanligaste är en fysisk robots.txt som någon laddade upp via FTP för länge sedan. Då körs filtret aldrig, och alla ändringar i WordPress är verkningslösa. Ta bort filen och låt WordPress generera den, eller redigera filen direkt och lämna filtret.

Vissa CDN och säkerhetsplugin har en enda inställning som blockerar alla AI-bots, träning och sök i samma svep. Den är frestande när loggen fylls av okända user agents, men den tar bort dig ur ChatGPT search och Perplexity samtidigt. Blockera per user agent i stället, och kom ihåg att OpenAI säger att en robots.txt-ändring kan ta ett dygn att slå igenom.

Vanliga frågor

Kan jag blockera AI-träning men ändå synas i ChatGPT?

Ja. OpenAI säger att OAI-SearchBot avgör om du syns i ChatGPT search och att GPTBot bara samlar träningsdata. Blockera GPTBot och ClaudeBot i robots.txt och tillåt OAI-SearchBot och Claude-SearchBot, så får du sök utan träning.

Behöver jag en llms.txt?

Ingen av de fyra leverantörerna nämner llms.txt i sin crawler-dokumentation, och Google skriver uttryckligen att inga nya filer eller särskild markup krävs för AI Overviews. Jag lägger ingen tid på det förrän någon av dem säger att de läser filen.

Varför ser jag ChatGPT-User i loggen fast jag blockerat den i robots.txt?

Därför att den hämtar sidor på en användares begäran och OpenAI skriver att robots.txt i regel inte gäller då. Samma sak med Perplexity-User. Vill du stoppa dem helt måste du blockera på user agent eller IP i webbservern eller CDN:et.

Syns AI Overviews i Search Console?

Inte som en egen rad. Google skriver att klick och visningar från AI Overviews och AI Mode ingår i den vanliga söktrafiken under söktypen Webb. Du kan alltså inte skilja dem från klassiska resultat där.

Källor

• OpenAI, Overview of OpenAI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User)
• Perplexity, Perplexity crawlers (PerplexityBot, Perplexity-User)
• Anthropic, Does Anthropic crawl data from the web (ClaudeBot, Claude-User, Claude-SearchBot)
• Google, Google-Extended i listan över vanliga crawlers
• Google, Overview of Google crawlers and fetchers
• Google, AI features and your website (AI Overviews, AI Mode, Search Console)
• Filtret robots_txt, WordPress Developer Resources