Checklista: är webbplatsen synlig för AI-crawlers?

Ordningen spelar roll. Citering är det sista steget i en kedja som börjar med crawlning: hämta, välja, skriva. Skiljer sig kedjan vid första länken — om boten får ett fel, en tom sida eller en blockerad webbadress — finns din webbplats aldrig med i urvalet. Grunderna för hela kedjan ligger i vad SEO är; här går vi igenom bara första länken.

Allt nedan är kontrollerat mot leverantörernas egen dokumentation, inte mot rykten. Fullständiga robotregler behandlar vi separat i robots.txt-guiden; här fokuserar vi på besluten — vem ska in, vem som kan stå utanför, och hur verifieringen går till. Hela arbetsflödet runt omkring ligger i GEO-guiden.

Vilka AI-crawlers möter din webbplats — och vad gör de?

Tabellen nedan är checklistans kärna. Kolumnen till höger är den viktiga: syftet avgör om en blockering skadar din AI-synlighet eller bara din medverkan i modellträning.

Skillnaden mellan sök och träning är hela nyansen. ChatGPT Search körs med en egen crawler — OAI-SearchBot, utöver den äldre GPTBot (OpenAI:s botdokumentation) — och kombineras med partnerinnehåll och tredjepartssökleverantörer, enligt OpenAI:s eget meddelande om ChatGPT search. Google beskriver samma mönster: robots.txt-regler för Googlebot är kontrollen för Search och dess AI-funktioner, medan Google-Extended är en separat spärr för träning och grounding i övriga system.

Översatt till beslut: vill du bli citerad i sökförfrågningar ska sök-botarna släppas in — Googlebot och OAI-SearchBot framför allt. Spärrar du dem påverkar du direkt din möjlighet att nämns. GPTBot och Google-Extended är däremot en affärsbedömning om träning, inte ett tekniskt krav för synlighet.

Kom ihåg att robots.txt är publik. Vem som helst — konkurrenter, journalister, kunder — kan läsa reglerna och se vilka botar du medvetet stänger ute. Det gör besluten synliga, vilket är precis som det ska vara: ett välgrundat och dokumenterat val slår alltid en tyst blockering som ingen på företaget längre vet varför den finns. Anthropic och Perplexity kör även Claude-User/Claude-SearchBot respektive Perplexity-User för användarinitierade hämtningar — de följer inte robots.txt på samma sätt och påverkas inte av dina regler.

Vad säger Google om specialfiler och markup?

Kort sagt: ingenting nytt krävs. Googles dokumentation om AI-funktioner slår fast att du ”don't need to create new machine readable files, AI text files, or markup to appear in these features” — och att ”there's also no special schema.org structured data that you need to add” (Google Search Central). Normal indexering och de klassiska SEO-grunderna räcker för att vara aktuell som källa.

Vad sägs då om llms.txt — förslaget på en markdown-fil i sajtroten som ska vägleda AI-system? Specifikationen är verklig och beskriver filen som stöd för agenter i realtid, främst vid inferens snarare än träning (llmstxt.org). Men den ger inte något motorlöfte: ingen större sökmotor har bekräftat att den används, och stödet är enligt rapporteringen fortfarande begränsat — John Mueller har enligt Carolyn Shelbys återgivning jämfört den med den gamla meta keywords-taggens öde (Search Engine Land 2025-07-09). Vad mätningarna säger om filen i praktiken går vi igenom i SE Rankings llms.txt-studie. Filen skadar inte — men den ersätter ingenting.

Vilka fällor stoppar crawlers trots korrekt robots.txt?

Robotregler är bara första lagret. Fem fall vi ser återkommande i granskningar:

• Innehåll som bara finns i JavaScript. Många botar hämtar rå-HTML utan att köra skript. Om nyckelinnehållet renderas i webbläsaren är det osynligt i källkoden — och därmed ociterbart. Kontrollen i nästa avsnitt fångar detta direkt.
• Betalmurar och cookieväggar. Innehåll bakom en hård vägg går inte att hämta, och därför inte heller att citera. Det är ett medvetet val — men det bör vara ett val, inte en biverkning av en plugin.
• Robotregler är inte indexering. En regel som nekar åtkomst stoppar crawlning — inte indexering. Google formulerar det så: ”a page that's disallowed in robots.txt can still be indexed if linked to from other sites” (Google Search Central). Ska en sida ut ur indexet krävs noindex, lösenordsskydd eller radering.
• Direktiv som ignoreras. Google stödjer inte crawl-delay — ”other fields such as crawl-delay aren't supported” i dess parser (Google Search Central). Regler utöver allow, disallow, sitemap och user-agent ignoreras.
• Sitemap som åtkomstnyckel. En sitemap.xml listar webbadresser — den ger ingen åtkomst och väger inte upp en blockering. Tvärtom kan den dölja problemet: listan ser grön ut i verktygen medan botarna får nekat. Search Console bekräftar vad Google faktiskt når.

Hur ser kontrollen ut — på femton minuter?

Kontrollen består av tre steg och kräver inga verktyg utöver terminalen och Search Console — samma ordning varje gång:

Går något av stegen fel är det det första som ska åtgärdas — före innehåll, före PR, före allt. En ociterad webbplats är oftast inte dålig, utan oåtkomlig.

Vanliga frågor