Hur färska är AI-svaren? FreshQA-studien om aktualitet

Det är orsaken bakom en av de största förändringarna i hur AI-verktyg byggs: modellen är frusen i tiden, men världen är inte det. När svaret ska handla om priser, regler, produkter eller vem som gör vad — frågor vars svar rör sig — räcker träningsdata inte. Motorerna löste det genom att koppla in live-sök och låta modellen skriva svaret utifrån färskt material.

För dig som vill synnas i svaren följer en teknisk konsekvens: om motorn ska citera dig måste den nå dig, och innehållet måste hålla för jämförelse med nyare källor. Här är studien bakom slutsatsen — och vad den betyder konkret. Sammanhanget finns i vad GEO är; åtgärderna i GEO-guiden.

Vad är FreshQA för studie?

FreshQA byggdes av forskare från Google DeepMind och UMass Amherst och publicerades i Findings of ACL 2024 under namnet ”FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation” (arXiv:2310.03214). Benchmarket består av 600 frågor fördelade på fyra kategorier:

• Never-changing — frågor vars svar aldrig ändras.
• Slow-changing — svaret förändras långsamt, över år.
• Fast-changing — svaret förändras löpande: aktier, priser, händelser.
• False-premise — frågor som innehåller ett felaktigt påstående.

Bedömningen bygger på över 50 000 mänskliga granskningar, och resultaten rapporteras i två poänglägen: Strict (alla delfrågor i svaret måste vara rätt) och Relaxed (minst en delfråga rätt). Blanda inte lägena när du läser siffrorna nedan — vi anger vilket som gäller.

Hur mycket sämre blir svaren utan sökning?

GPT-4 (2023-modellen) utan sökresultat fick 28,6 % i Strict och 46,4 % i Relaxed på hela testet. Med FreshPrompt — sökresultat insamlade live och placerade i prompten — steg Strict-resultatet till 75,6 %. Per frågetyp (Strict):

På fast-changing-frågor var bilden ännu skarpare: utan sökning översteg GPT-4 aldrig 15 % i något av poänglägena. Att till och med never-changing-frågor steg från 64,3 % till 94,4 % visar att sökningen inte bara tillför färskhet utan också ett evidensunderlag modellen annars saknar. Den bästa varianten i studien — med 15 sökträffar insamlade som evidens — nådde 77,6 % (Strict) och 79,0 % (Relaxed); jämfört med vanlig GPT-4 utan sökning var det en förbättring på 49,0 respektive 32,6 procentenheter.

Varför kopplade motorerna in live-sök?

FreshQA-experimentet var i praktiken beviset. Sökresultat i prompten gjorde svaren inte bara mer korrekta utan också mer robusta: gapet mellan Strict och Relaxed krympte från 17,8 till 2,2 procentenheter, och FreshPrompt slog metoderna papperet jämförde med — bland annat Self-Ask och Perplexity.AI (Vu m.fl., abstract).

Den arkitekturen är i dag standard: modellen plus material som hämtats vid frågetillfället — på fackspråket RAG, retrieval-augmented generation (förklarat för nybörjare). ChatGPT, Perplexity och Googles AI-funktioner crawlar och hämtar live, och källurvalet sker mot just den fråga som ställs — mekaniken är beskriven i hur AI-motorerna väljer källor. Om du inte är nåbara när hämtningen sker finns du inte bland kandidaterna, oavsett hur bra din sida är.

Detaljerna i experimentet säger dessutom något om vad som händer efter hämtningen. Antalet och ordningen på de sökträffar som skickades med påverkade träffsäkerheten — och när svaren i exemplen hölls koncisa och direkta minskade hallucinationerna jämfört med utförliga svar. Läst baklänges är det en beskrivning av din sida ur motorns perspektiv: den ska vara lätt att plocka ur, svår att missförstå och ge ett begränsat utrymme för feltolkning.

Vad betyder aktualitet för din synlighet?

Att sökningen är live gör din webbplats till en konkurrent i en löpande tävling om färskhet. Tre saker bestämmer om du är med:

• Crawler-åtkomst. Motorernas botar (GPTBot, PerplexityBot m.fl.) måste släppas in i robots.txt, och innehållet måste synas utan JavaScript. Ingen åtkomst, ingen kandidat.
• Daterade och underhållna sidor. Synligt årtal, uppdateringsdatum och gamla URL:er som uppdateras i stället för att ersättas. En sida från 2023 om något som ändrats 2026 förlorar mot färska källor när motorn väljer.
• Svar på frågor vars svar rör sig. Priser, krav, regler, leveranstider — sidor som håller sig aktuella i nischen blir motorernas naturliga källa för just de frågorna.

Läget i Sverige för Googles AI-funktioner går vi igenom i inlägget om AI Overviews och AI Mode i Sverige.

Forskarna bakom studien har dessutom låtit benchmarket leva vidare: FreshQA-repot uppdateras löpande med nya frågor för att hålla kategorin fast-changing faktiskt snabbföränderlig. Samma team har sedan dess släppt SealQA, en resonemangsfokuserad uppföljare byggd på FreshQA. Det är en bra mall för hur du bör tänka kring färskhet — inte som ett engångsläge utan som ett löpande test, där dina nyckelfrågor ställs om och om igen mot dina sidor.

Vad är false-premise-frågor — och varför spelar de roll för dig?

Fjärde kategorin i FreshQA är frågor som bär på ett felaktigt påstående — användaren frågar ”varför” något som inte stämmer. Utan sökning lyckades modellerna sällan genomskåda den falska premissen: korrektheten låg för GPT-3.5, ChatGPT och GPT-4 mellan 25,8 och 42,7 % (Strict) respektive mellan 32,3 och 66,9 % (Relaxed), med GPT-4 bäst på 66,9 % (Relaxed). I en följdablation med FreshPrompt hjälpte en instruktion att först kontrollera premissen för GPT-3.5 på false-premise-frågorna (+23,4 % i Strict) men sänkte dess totala noggrannhet (−20,8 % i Strict; för GPT-4 var false-premise-vinsten +6,4 % och totaleffekten marginal) — en ren trade-off (Vu m.fl., sektion 3–4).

Det finns en direkt GEO-poäng här: identifiera de vanligaste missförstånden i din nisch och publicera korta, fristående rättelser — ”nej, X gäller inte Y, så här ligger det till, enligt källa Z”. När en kund ställer en fråga med fel premiss är en sådan rättelse exakt den källa som låter motorn ge ett korrekt svar i stället för ett bekvämt. Kategorin är liten (125 testfrågor per typ), men mönstret att modeller hellre svarar än motsäger gäller långt utanför benchmarken.

Vanliga frågor