Kan AI-svar manipuleras? Studierna om GEO-spam — och vad de betyder för er

Det här inlägget finns av två skäl. Det ena är att hotbilden är verklig: om svar kan skjutas åt olika håll är AI-kanalen ingen objektiv röst, och det du mäter idag kan vara flyttat imorgon. Det andra är att avgränsa: Eyrie förespråkar aldrig manipulation, och vi tar inte med någon receptbok — bara vad forskningen visar och vad en ärlig aktör gör i stället. Grunden för det ärliga spåret finns i vad GEO är, och myterna kring det är uppradade i GEO-myterna.

Vad visade Harvard-studien om produktrekommendationer?

Kumar och Lakkaraju (Harvard University, arXiv-preprint 2024) testade om en textsekvens optimerad mot språkmodellen kunde öka en produkts synlighet i modellens rekommendationer (arXiv:2404.07981). Uppställningen var en katalog med tio fiktiva kaffebryggare, öppna källkodsmodeller — Llama-2 nämns uttryckligen — och 200 oberoende utvärderingar per villkor. Texten placerades i produktens egen produktinformation och behövde varken vara begriplig eller vettig för en människa; den behövde bara påverka modellens tokens.

Resultatet: i omkring 40 % av utvärderingarna hamnade målprodukten högre till följd av den tillagda texten, medan omkring 60 % gav ingen förändring — långt från pålitligt, även i labbet. Med en mer robust variant av optimeringen gick en produkt som knappt rekommenderades från att inte rekommenderas alls till topprekommendation efter 100 iterationer. Men notera vad som krävdes: optimeringen körde upp till 2 000 iterationer mot modellen för att hitta en textsekvens som fungerade. Författarnas egen formulering i abstraktet är försiktig — metoden kan ”significantly increase” sannolikheten att bli modellens topprekommendation, inte garantera det.

Notera vad studien inte säger: den testade inte GPT-4 eller andra kommersiella motorer, och den säger inget om hur metoden skulle fungera mot riktiga produktkataloger i produktion. Värdet ligger i demonstrationsvärdet — rekommendationer går att påverka utifrån, via text på en produktsida.

Kan text på en enda sida flytta en hel rankning?

Pfrommer, Bai, Gautam och Sojoudi (EMNLP 2024) gick ett steg längre: i stället för produktens egen sida testade de text injicerad i innehållet som en konversationsmotor hämtar in i sitt svar (arXiv:2406.03589). Datasetet RagDoll bygger på 1 147 riktiga produktsidor; i experimenten tävlade åtta varumärken per kategori i 50 kategorier, och målet i varje kategori var den lägst rankade produkten. Attacken krävde bara en enda hämtad webbsida — texten behövde varken vara sann eller läsbar.

Medelökningen i ranking-score, på en skala där 8 poäng betyder nämnd först:

Författarnas egen sammanfattning är att förfarandet var tämligen effektivt över alla modeller, med Llama 3 70B särskilt utsatt. I fallstudierna gick en Smeg-blender från 1,6 till 5,5 i medel-score hos Sonar Large Online, och en CHUWI-surfplatta flyttades med GPT-4 Turbo från undre halvan av svaret till att konsekvent rankas först.

Varför är det här ingen strategi — trots att det fungerar i labbet?

Fyra skäl, vart och ett tillräckligt:

• Det är spam. Texten optimeras för modellen, inte för kunden. Harvards författare ramar in metoden som ett hot mot rättvis marknadskonkurrens och kräver skyddsmekanismer mot orättvis fördel — deras slutsats, inte vår tolkning.
• Det kan upptäckas och slå tillbaka. En obegriplig textsekvens på en produktsida är ett uppenbart spår vid granskning, och manipulation som avslöjas kostar mer i förtroende än den kan tjäna i synlighet.
• Effekten är osäker. Omkring 60 % av utvärderingarna i Harvard-studien gav ingen förändring, EMNLP-författarna skriver uttryckligen att deras attack inte är helt effektiv — metoden kan alltså slå bakut, även för den som är beredd att fuska.
• Positionen blir obrukbar. Studierna visar också att olika modeller väger produktnamn, dokumentinnehåll och kontextposition olika — det finns i dag ingen universell mekanism att sikta på. En position byggd på manipulation sitter på en kanal som kan flyttas igen av nästa konkurrent.

Därför håller vi gränsen: ingen hur-man-gör, inga verktyg, inga löften. Det som är värt att ta med från forskningen är hotbilden — inte metoden. För svenska B2B-företag är den praktiska slutsatsen enkel: behandla AI-svaret som en kanal som kan påverkas av andra, och mät den därefter.

Vad gör ni åt det — utan att spela med?

Motmedlet mot manipulation är inte motmanipulation utan tre vanliga saker, gjorda konsekvent:

Mekaniken bakom hur motorerna väljer och viktat källor — det som manipulationen utnyttjar — står i hur AI-motorerna väljer källor. Och myten att seriös GEO är detsamma som att lura motorn tar vi isär i GEO-myterna: det är motsatsen, och manipulationstudierna är det bästa argumentet för varför.

Vill ni läsa studierna själva är båda öppet publicerade, och EMNLP-studiens dataset — 1 147 riktiga produktsidor — finns offentligt på Hugging Face, och koden i forskarnas GitHub-repo. Det är den transparensen som skiljer forskning från spam: resultaten kan granskas, upprepas och bemötas, av motorbyggare och av företag som ert. Känn igen mönstret i stället för att söka efter verktyg — och lägg tiden på det manipulationen inte kan ta ifrån er: innehåll som är sant, specifikt och aktuellt.

Vanliga frågor