Teknisk checklista: är din webbplats synlig för AI-crawlers?

Ordningen spelar roll. Citering är det sista steget i en kedja som börjar med crawlning: hämta, välja, skriva. Skiljer sig kedjan vid första länken — om boten får ett fel, en tom sida eller en blockerad webbadress — finns er webbplats aldrig med i urvalet. Grunderna för hela kedjan ligger i vad SEO är; här går vi igenom bara första länken.

Allt nedan är kontrollerat mot leverantörernas egen dokumentation, inte mot rykten. Fullständiga robotregler behandlar vi separat i robots.txt-guiden; här fokuserar vi på besluten — vem ska in, vem kan stå ute, och hur du verifierar. Hela arbetsflödet runt omkring ligger i GEO-guiden.

Vilka AI-crawlers möter din webbplats — och vad gör de?

Tabellen nedan är checklistans kärna. Kolumnen till höger är den viktiga: syftet avgör om en blockering skadar din AI-synlighet eller bara din medverkan i modellträning.

Skillnaden mellan sök och träning är hela nyansen. ChatGPT Search körs med en egen crawler — OAI-SearchBot, utöver den äldre GPTBot — och kombineras med partnerindex och tredjepartssökleverantörer, enligt OpenAI:s eget meddelande om ChatGPT search. Google beskriver samma mönster: robots.txt-regler för Googlebot är kontrollen för Search och dess AI-funktioner, medan Google-Extended är en separat spärr för träning och grounding i övriga system.

Översatt till beslut: vill du bli citerad i sökförfrågningar ska sök-botarna släppas in — Googlebot och OAI-SearchBot framför allt. Spärrar du dem påverkar du direkt din möjlighet att nämns. GPTBot och Google-Extended är däremot en affärsbedömning om träning, inte ett tekniskt krav för synlighet.

Kom ihåg att robots.txt är publikt. Vem som helst — konkurrenter, journalister, kunder — kan läsa reglerna och se vilka botar ni medvetet stänger ute. Det gör besluten synliga, vilket är precis som det ska vara: ett välgrundat och dokumenterat val slår alltid en tyst blockering som ingen på företaget längre vet varför den finns.

Vad säger Google om specialfiler och markup?

Kort sagt: ingenting nytt krävs. Googles dokumentation om AI-funktioner slår fast att du ”don't need to create new machine readable files, AI text files, or markup to appear in these features” — och att ”there's also no special schema.org structured data that you need to add” (Google Search Central). Normal indexering och de klassiska SEO-grunderna räcker för att vara aktuell som källa.

Vad sägs då om llms.txt — förslaget på en markdown-fil i sajtroten som ska vägleda AI-system? Specen är verklig och beskriver filen som stöd för agenter i realtid, främst vid inferens snarare än träning (llmstxt.org). Men den ger inte något motorlöfte: ingen större sökmotor har bekräftat att den används, och stödet är enligt rapporteringen fortfarande begränsat — John Mueller har enligt Carolyn Shelveys återgivning jämfört den med den gamla meta keywords-taggens öde (Search Engine Land 2025-07-09). Vad mätningarna säger om filen i praktiken går vi igenom i SE Rankings llms.txt-studie. Filen skadar inte — men den ersätter ingenting.

Vilka fällor stoppar crawlers trots korrekt robots.txt?

Robotregler är bara första lagret. Fem fall vi ser återkommande i granskningar:

• Innehåll som bara finns i JavaScript. Många botar hämtar rå-HTML utan att köra skript. Om nyckelinnehållet renderas i webbläsaren är det osynligt i källkoden — och därmed ociterbart. Testet i nästa avsnitt fångar detta direkt.
• Betalmurar och cookieväggar. Innehåll bakom en hård vägg går inte att hämta, och därför inte heller att citera. Det är ett medvetet val — men det bör vara ett val, inte en biverkning av en plugin.
• Förväxlingen robots.txt mot index. En regel som nekar åtkomst stoppar crawlning — inte indexering. Google formulerar det så: ”a page that's disallowed in robots.txt can still be indexed if linked to from other sites” (Google Search Central). Vill du ut ur indexet krävs noindex, lösenordsskydd eller radering.
• Direktiv som ignoreras. Google stödjer inte crawl-delay — ”other fields such as crawl-delay aren't supported” i dess parser (Google Search Central). Regler utöver allow, disallow och user-agent ignoreras.
• Sitemap som åtkomstnyckel. En sitemap.xml listar webbadresser — den ger ingen åtkomst och väger inte upp en blockering. Tvärtom kan den dölja problemet: listan ser fint grön ut i verktygen medan botarna får nekat. Använd Search Console för att bekräfta vad Google faktiskt når (Google Search Console).

Hur testar du sajten på femton minuter?

Tre steg, utan verktyg utöver terminalen och Search Console:

Går något av stegen fel är det det första som ska åtgärdas — före innehåll, före PR, före allt. En ociterad webbplats är oftast inte dålig, utan oåtkomlig.

Vanliga frågor