Hur AI:n väljer sina citat: precision, recall — och varför "säkra" källor vinner

Det här är den tredje delen i forskningsspåret bakom GEO: WebGPT visade varför AI-svar har citat — ALCE mäter hur bra det fungerar att citera korrekt, hela vägen från hämtning till genererat svar. Mekaniken i motorernas källval finns i Hur väljer AI-motorerna vilka företag de citerar?

Vad är citation precision och citation recall?

ALCE mäter citatkvaliteten längs två axlar — och skillnaden mellan dem är lättare att förstå med er sajt i tankarna:

• Citation recall — stöds svaret helt av de citerade passagerna? Varje påstående i svaret kollas mot citaten: om något påstående saknar stöd sänks poängen. Högt recall = påståendet och stödet finns ihop.
• Citation precision — behövs varje citat? En onödig källa är en som inte själv stödjer påståendet och kan tas bort utan skada. Hög precision alltså: inga irrelevanta källor slumpas med.

Definitionerna kommer från studien: recall avgör ”if the output is entirely supported by cited passages”, precision identifierar ”any irrelevant citations”. Hela pipelinen utvärderas — retrieval, generering med citat, och mätvärden för flyt, korrekthet och citatkvalitet, validerade mot mänskliga bedömningar — på tre dataset: ASQA (tvetydiga frågor), QAMPARI (frågor med flera svar) och ELI5 (långformat).

En tumregel gör skillnaden greppbar: recall handlar om att inte hitta på — varje påstående ska ha stöd; precision handlar om att inte spamma — varje citat ska behövas. Ett svar med tre påståenden och ett citat som bara täcker ett av dem har lågt recall. Samma tre påståenden med sju citerade källor, varav fyra inte tillför något, har lågt precision. På er sida löses båda felen på samma sätt: påstående och stöd som ett par, i samma passage, ett par i taget.

Var fallerar citeringen värst?

Mönstret är tydligt: ju fler stöden en fråga kräver, desto sämre klarar systemen det — på QAMPARI, där svaret behöver flera olika fakta, är citeringen nästan olöst för 2023 års modeller. Och det är viktigt att inte blanda ihop två sätt att räkna: 50 %-citatet i abstractet är på generationsnivå (hur ofta svaret saknar fullt stöd), tabellsiffrorna är påståendenivå. Citera gärna abstractet ordagrant — och det gäller ELI5.

För en B2B-leverantör är QAMPARI-radén den intressanta. Köparfrågor är ofta flersvarsfrågor i förklädnad: ”vilka leverantörer klarar X, Y och Z?” kräver flera stöden för ett fullständigt svar. Att citeringen fallerar just där betyder inte att ni ska undvika sådana frågor — utan att varje delfråga bör ha sitt eget stödbara svar, på egen sida, i stället för ett samlingsvar som ingen enskild passage räcker till.

Varför räcker det inte att sanningen finns på sidan?

För att citatet ska fungera måste påståendet i svaret och texten i källan stämma överens — och studiens mest instruktiva experiment visar vad som händer utan den kopplingen. Varianten ClosedBook+PostCite låter modellen skriva svaret ur minnet och söker sedan citat i efterhand. Citation recall föll 47 % under vanilla på ASQA: korrekta svar som inte liknar någon hämtad passage går helt enkelt inte att citera.

Det är den mekanism som gör citerbarhet till en egen disciplin i GEO: ert innehåll måste innehålla själva stödet, inte bara vara sant. En sida som säger ”vi är en erfaren partner” är sant eller falskt — men har inget citatstöd, för det finns inget påstående som en passage kan återge. En sida som säger ”vi leverar X till Y-branchen med Z-omfång” innehåller sitt eget stöd.

Vad gör en sida lätt att stödja?

En reservation åt andra hållet: citatet är inte hela vägen. Retrieval är en egen flaskhals i ALCE — de fem bästa hämtade passagerna täckte bara ca 57 % av ASQA-svaren, så man måste först vara kandidat (läs om hämtningssteget). Men hämtningen är lika för alla i nischen; stödbarheten är den del ni själva styr.

Mäter ALCE vilka källor AI:n föredrar?

Nej — det är den vanligaste missläsningen. ALCE mäter om genererade citat faktiskt stödjer påståendena i svaret, inte en preferens mellan typer av källor. ”Säkra” källor vinner i den meningen att material som är lätt att stödja blir citerat oftare — inte att benchmarken rangserar företagssajter mot nyhetsmedier. Slutsatser om källvals-bias behövs andra studier (se om verifiabilitet i generativ sökning).

Två reservationer till: mätvärdena är automatiserade approximationer (NLI-modeller validerade mot mänskliga bedömningar — de fångar inte partiellt stöd perfekt), och siffrorna gäller 2023 års ChatGPT, GPT-4 och LLaMA-2-Chat-70B. Använd studien som en mekanismförklaring — generatorn kan bara citera det en passage uttryckligen stödjer — inte som en aktuell prestandamätning av dagens motorer.

Studiens övriga resultat pekar åt samma håll: reranking av flera kandidatsvar förbättrade citatkvaliteten konsekvent, medan komprimerade format — sammanfattningar och snippet — ökade korrektheten men sänkte citatkvaliteten. Förlustrik komprimering skiljer påstående från stöd. Ännu en anledning att låta dem bo ihop i samma stycke.

Vanliga frågor