Kan AI-svar manipuleras? Studierna om GEO-spam

Det här inlägget finns av två skäl. Det ena är att hotbilden är verklig: om svar kan skjutas åt olika håll är AI-kanalen ingen objektiv röst, och det du mäter i dag kan vara flyttat i morgon. Det andra är att avgränsa: Eyrie förespråkar aldrig manipulation, och vi tar inte med någon receptbok — bara vad forskningen visar och vad en ärlig aktör gör i stället. Grunden för det ärliga spåret finns i vad GEO är, och myterna kring det är uppradade i GEO-myterna.

Vad visade Harvard-studien om produktrekommendationer?

Kumar och Lakkaraju (Harvard University, arXiv-preprint 2024) testade om en textsekvens optimerad mot språkmodellen kunde öka en produkts synlighet i modellens rekommendationer (arXiv:2404.07981). Uppställningen var en katalog med tio fiktiva kaffebryggare, modeller med öppen källkod — Llama-2 nämns uttryckligen — och 200 oberoende utvärderingar per villkor. Texten placerades i produktens egen produktinformation och behövde varken vara begriplig eller vettig för en människa; den behövde bara påverka modellens tokens.

Resultatet: i omkring 40 % av utvärderingarna hamnade målprodukten högre till följd av den tillagda texten, medan omkring 60 % gav ingen förändring — gällande den svagt rekommenderade målprodukten. För en produkt som redan rankades högt var effekten i det närmaste noll: fördel och nackdel vägde upp varandra. Långt från pålitligt, även i labbet. Optimeringen var dessutom snabb: en produkt som inte rekommenderades alls nådde topprekommendation redan efter 100 av de 2 000 iterationerna. Med en mot blandad produktordning robust variant ökade fördelen ytterligare. Författarnas egen formulering i abstraktet är försiktig — metoden kan ”significantly increase” sannolikheten att bli modellens topprekommendation, inte garantera det.

Notera vad studien inte säger: den testade inte GPT-4 eller andra kommersiella motorer, och den säger inget om hur metoden skulle fungera mot riktiga produktkataloger i produktion. Värdet ligger i demonstrationsvärdet — rekommendationer går att påverka utifrån, via text på en produktsida.

Kan text på en enda sida flytta en hel rankning?

Pfrommer, Bai, Gautam och Sojoudi (EMNLP 2024) gick ett steg längre: i stället för produktens egen sida testade de text injicerad i innehållet som en konversationsmotor hämtar in i sitt svar (arXiv:2406.03589). Datasetet RagDoll bygger på 1 147 riktiga produktsidor; i experimenten tävlade åtta varumärken per kategori i 50 kategorier, och målet i varje kategori var den lägst rankade produkten. Attacken krävde bara en enda hämtad webbsida — texten behövde varken vara sann eller läsbar.

Medelökningen i ranking-score, på en skala där 8 poäng betyder nämnd först:

Författarnas egen sammanfattning är att förfarandet var tämligen effektivt över alla modeller, med Llama 3 70B särskilt utsatt. I fallstudierna gick en Smeg-blender från 1,6 till 5,5 i medelpoäng hos Sonar Large Online, och en CHUWI-surfplatta flyttades med GPT-4 Turbo från undre halvan av svaret till att konsekvent rankas först.

Varför är det här ingen strategi — trots att det fungerar i labbet?

Fyra skäl, vart och ett tillräckligt:

• Det är spam. Texten optimeras för modellen, inte för kunden. Harvards författare ramar in metoden som ett hot mot rättvis marknadskonkurrens och kräver skyddsmekanismer mot orättvis fördel — deras slutsats, inte vår tolkning.
• Det kan upptäckas och slå tillbaka. En obegriplig textsekvens på en produktsida är ett uppenbart spår vid granskning, och manipulation som avslöjas kostar mer i förtroende än den kan tjäna i synlighet.
• Effekten är osäker. Omkring 60 % av utvärderingarna i Harvard-studien gav ingen förändring, och EMNLP-författarna skriver uttryckligen att deras attack inte är helt effektiv — metoden kan alltså slå bakut, även för den som är beredd att fuska.
• Positionen blir obrukbar. Studierna visar också att olika modeller väger produktnamn, dokumentinnehåll och kontextposition olika — det finns i dag ingen universell mekanism att sikta på. En position byggd på manipulation sitter på en kanal som kan flyttas igen av nästa konkurrent.

Därför håller vi gränsen: ingen hur-man-gör, inga verktyg, inga löften. Det som är värt att ta med från forskningen är hotbilden — inte metoden. För svenska B2B-företag är den praktiska slutsatsen enkel: behandla AI-svaret som en kanal som kan påverkas av andra, och mät den därefter.

Vad gör du åt det — utan att spela med?

Motmedlet mot manipulation är inte motmanipulation utan tre vanliga saker, gjorda konsekvent:

Mekaniken bakom hur motorerna väljer och viktat källor — det som manipulationen utnyttjar — står i hur AI-motorerna väljer källor. Och myten att seriös GEO är detsamma som att lura motorn tar vi isär i GEO-myterna: det är motsatsen, och manipulationstudierna är det bästa argumentet för varför.

Vill du läsa studierna själva är båda öppet publicerade. Forskningen har dessutom tagit fart sedan 2024 — benchmarkar som GEO-Bench och första försvarsverk publicerades 2023–2024 — men grundsluten är desamma: labbeffekt ja, pålitlighet nej. EMNLP-studiens dataset — 1 147 riktiga produktsidor — finns offentligt på Hugging Face, och koden i forskarnas GitHub-repo. Det är den transparensen som skiljer forskning från spam: resultaten kan granskas, upprepas och bemötas, av motorbyggare och av företag som ditt. Känn igen mönstret i stället för att söka efter verktyg — och lägg tiden på det manipulationen inte kan ta ifrån dig: innehåll som är sant, specifikt och aktuellt.

Vanliga frågor