Robots.txt-guiden: styr crawlingen utan att blocka fel

Svar-först: robots.txt är en liten textfil i rotkatalogen som "tells search engine crawlers which URLs the crawler can access on your site", som Google formulerar det (Google Search Central). Filen består av regelgrupper: en user-agent-rad som namnger crawlern, därefter allow- och disallow-rader för sökvägar, samt sitemap-direktivet som pekar ut din webbplatskarta.

För e-handel och tjänsteföretag är filen dubbel viktig nu: den styr både sökmotorernas och AI-botarnas åtkomst — och ett enda feltecken kan stänga ute hela sajten. Här är syntaxen, botarna och misstagen.

Hur ser en robots.txt ut?

I specifikationen definieras tre delar: user-agent "identifies which crawler the rules apply to", allow är "a URL path that may be crawled" och disallow är "a URL path that may not be crawled" (Google, specifikationen). I praktiken byggs filen i tre steg:

Och en hård gräns från samma specifikation: "Rules other than allow, disallow, and user-agent are ignored by the robots.txt parser" — allt annat du skriver in läses alltså inte av Google.

Blockerar robots.txt en sida från Google?

Nej, och det är den vanligaste missuppfattningen om filen. Google skriver rakt ut att robots.txt "is not a mechanism for keeping a web page out of Google" och att "a page that's disallowed in robots.txt can still be indexed if linked to from other sites" — sidan kan då visas i sökresultaten, i värsta fall med en annan sajs ankringstext, utan att Google någonsin hämtat innehållet (Google Search Central).

Vill du hålla en sida borta från sökresultaten är det tre åtgärder som gäller, enligt Google: lösenordsskydd, noindex-meta eller noindex-header, eller att helt enkelt radera sidan. Robots.txt är alltså fel verktyg för jobbet — det är rätt verktyg för att spara crawl-budget och hålla ointressanta ytor utanför.

Stödjer Google crawl-delay?

Nej. Direktivet används på andra motorer för att begära en paus mellan hämtningar, men hos Google har det ingen effekt: "other fields such as crawl-delay aren't supported", står det i specifikationen (Google Search Central). Rader med crawl-delay ignoreras helt av Googles parser.

Om syftet är att skydda en överbelastad server hjälper alltså robots.txt inte mot Googlebot — takten får styras på servernivå. Räkna inte med att en crawl-delay-rad gör något — och låt dig inte tro att den gör det: många sajter tror de har ett skydd de inte har.

Vilka AI-botar ska du känna till?

AI-eran har delat crawlerna i två syften: botar som hämtar till sök — där du vill synas — och botar som hämtar till modellträning, där du kan vilja välja. Läget vid skrivandet:

Bing-indexet är dessutom en viktig leveransväg till ChatGPT Search — "Bing is currently a major driving force", skriver Yoast, samtidigt som ChatGPT också använder egna crawlers och partnerindex. Bilden "ChatGPT är bara Bing" är förenklad; grunderna för flera motorer samtidigt är det som betalar sig.

Ska jag blockera AI-botarna?

Det beror på vilken bot — och det är två olika beslut. Sökbotarna (Googlebot, OAI-SearchBot) släpper du in om du vill vara ett svar: att bli en källa i AI-svar är kärnan i GEO, och vill du vara källor i ChatGPT:s sökfunktion krävs att OAI-SearchBot får hämta, medan AI Overviews förutsätter indexering i Google. Här är blockering en affärsfråga med självklart svar för de flesta som vill sälja något.

Träningsbotarna (GPTBot, Google-Extended) är ett strategiskt val utan rätt svar: att låta träningen använda ditt innehåll är en avvägning mellan räckvidd och kontroll, och rimliga argument finns åt båda håll. Poängen är att beslutet ska vara medvetet. Den vanligaste situationen vi ser är inte en principförklaring utan en olycka — en wildcard-regel, en säkerhetsprodukt eller en gammal staging-fil som blockerar allt, och ingen som märker det. Gå igenom checklistan för AI-crawlers och säkra att blockeringen, om du har någon, är din egen.

Vad är IndexNow — och behöver du det?

IndexNow är ett ping-protokoll som låter dig meddela sökmotorer direkt när en URL lagts till, uppdaterats eller tagits bort — "a simple ping so that search engines know that a URL and its content has been added, updated, or deleted". Upptäckt via crawlning "can take days to weeks"; pingen når motorerna direkt (IndexNow.org).

Deltagande motorer är Microsoft Bing, Naver, Seznam.cz, Yandex och Yep — en inlämning delas automatiskt med alla. Google deltar inte. Tekniken kräver en nyckelfil i rotkatalogen som bevisar att du äger sajten. För de flesta svenska sajter är IndexNow ingen prioritet i sig, men om ditt CMS stödjer det är det ett billigt sätt att påskynda indexeringen av nytt innehåll i Bing — som i sin tur matar flera AI-svar.

Vilka misstag förstör vanligast robots.txt?

• Disallow: / på hela sajten. Den klassikern: en staging-fil driftsätts rakt av, och ingen crawler släpps in på något. Om trafiken sjunker till noll över en natt, börja här.
• Motstridiga regler. Allow- och disallow-rader som överlappar, eller regler placerade i fel user-agent-grupp. Testa de viktiga URL:erna före varje driftsättning i stället för att läsa filen i efterhand.
• Blockering som indexeringsskydd. Vill du ha bort en sida från sökresultaten är disallow fel verktyg — sidan kan indexeras ändå, nu utan innehåll. Använd noindex, lösenord eller radera.
• Obemärkt AI-blockering. En säkerhetsplugin eller brandvägg som skrivit bot-regler du aldrig godkänt. Granska filen mot checklistan så vet du vad den egentligen säger.

Tre rader kod styr hela din crawlbarhet — värd att läsa en gång i kvartalet. Hur ändringarna slår igenom följer du i Search Console, där du kan bekräfta att Google hittar och crawlar sajten.

Vanliga frågor