En studie i Judgment and Decision Making har fått spridning under rubriken att läsare inte kan skilja AI-skriven skönlitteratur från mänsklig, och att de dessutom föredrar maskinens version. Sydney Sears och Deena Skolnick Weisberg lät 1 682 personer läsa antingen en publicerad novell eller en ChatGPT-novell, och ytterligare 905 personer läsa båda och gissa vilken som var vilken. AI-texterna fick högre betyg på kvalitet och på hur uppslukande de upplevdes. Deltagarna som fick veta att en text var mänskligt skriven höjde sitt omdöme något, oavsett vad som faktiskt stämde.
Den läsningen ligger nära till hands. Studiens mest intressanta resultat ligger utanför den.
Vad deltagarna gjorde
I studie 2 svarade 39,4 procent rätt. Slumpen ligger på 50. Avvikelsen är signifikant enligt forskarnas eget exakta proportionstest, p under 0,001. Ett resultat under slumpen betyder att deltagarna gick åt ett håll, systematiskt, och att det hållet var fel. De pekade ut AI-texten som den mänskliga.
En bedömare som ligger under slumpen är en fungerande detektor med omvänt tecken. Om ingen signal fanns i texterna skulle svaren fördela sig jämnt. Det gjorde de inte. Signalen fanns där, och läsarna avkodade den bakvänt.
Studien innehåller en detalj som pekar på mekanismen. Deltagarna fick kryssa i vilka drag i texterna som hjälpt dem att bestämma sig: språket, temat, symboliken, karaktärerna, handlingen, den egna läsupplevelsen. De som uppgav att de gått på språket svarade signifikant oftare fel. Det gäller i båda de studier där frågan ställdes, på separata urval flera månader isär.
Mönstret är skarpare än så. I studie 3 gällde samma sak för dem som gick på sin egen läsupplevelse, medan de som uppgav att de gått på symboliken svarade rätt oftare, på marginellt signifikant nivå. Ytan ledde fel. Innehållsliga drag höll bättre. Det gäller oberoende av att träffnivån i studie 3 landade på slumpen, vilket gör fyndet om vilka drag deltagarna gick på till den mest robusta observationen i hela materialet.
Flyt lästes som mänsklig närvaro.
Varför kvalitetsjämförelsen bär mindre än den ser ut att göra
Innan tolkningen går vidare behöver upplägget granskas, eftersom slutsatsen om kvalitet vilar på en konstruktion som gynnar den ena sidan.
De mänskliga novellerna är publicerade texter. AI-novellerna genererades från prompts som formulerades efter att forskarna läst originalen, och prompten innehåller originalets tolkningsnyckel i klartext. En av dem ber om en text om generationer, död och osäkerhet, med koi-fisk som symbol, berättad ur perspektivet hos det vuxna barnet till en kvinna. Det är den mänskliga novellens tematiska kärna, formulerad som beställning.
AI-texten får alltså veta vad den handlar om innan den skrivs. Originalet bär sin egen tvetydighet. Jämförelsen står mellan en berättelse och en tydliggjord version av samma berättelse.
Kvalitetsskalan förstärker samma lutning. Den är egenkonstruerad och innehåller påståendet att textens tema var svårt att urskilja, omvänt kodat. Ett svårurskiljbart tema drar alltså ner kvalitetspoängen. Forskarna refererar själva till litteraturvetenskaplig forskning om att litterär fiktion definieras av att motstå enkel tematisk upplösning, och noterar spänningen i diskussionen. Instrumentet mäter omedelbar begriplighet. Resultatet blir att den mer begripliga texten får högre kvalitetspoäng, vilket följer av hur mätningen är byggd.
Till detta kommer register. Två av de tre mänskliga texterna publicerades 1993 och 2000, en av dem med idiom från Lough Neagh på Nordirland, medan läsarpanelen är amerikansk och samtida. Forskarna prövade aldrig läsbarheten hos sina texter, trots att de förklarar sina resultat med just läsbarhet. En invändning ska noteras: prompten till motsvarande AI-text bad uttryckligen om brittiskt språk, så för det paret ligger registret närmare varandra än för de övriga.
Vad materialet faktiskt indikerar
Kvalitetsfyndet är alltså en artefakt. Identifikationsfyndet är det inte, och det är där tanken blir användbar.
Läsarna hade en modell för vad mänskligt skrivande känns som. Modellen aktiverades av jämnhet, klarhet och frånvaro av motstånd. Den byggdes under en period när jämn text krävde en människa som arbetat länge med den, vilket gjorde den till en rimlig heuristik. Nu producerar en annan process samma yta, och heuristiken går i gång på fel objekt.
Det jag sedan tidigare kallar syntetisk trygghet är precis detta. Formens jämnhet läses som avsändarens närvaro. Det finns ett tolkningsmellanrum mellan text och ursprung, och läsaren fyller det med en författare, eftersom det är den enda sortens avsändare som tidigare kunnat producera den ytan.
Här mäts det i ett material som inte konstruerats för att mäta det, i en design som drar en annan slutsats.
Vad detta kan betyda framåt
Fyra saker är värda att ta med.
Märkning korrigerar ett omdöme som redan gått fel. EU:s transparensregler och ikonsystem bygger på att märkning ger en läsare information hen saknar. Materialet antyder något besvärligare: läsaren saknar inte information, hen har ett aktivt omdöme åt fel håll. En märkning som ska korrigera en aktiv felaktig slutledning möter mer motstånd än en märkning som fyller en lucka. Effekten av att berätta om ursprung var dessutom liten i studien, ungefär en tredjedel av textens egen effekt på kvalitetsomdömet och drygt hälften på absorptionen.
Attityd modererar riktningen. Deltagare med positiv inställning till AI gav högre betyg när de fick veta att texten var maskingenererad. Aversionen mot AI-innehåll är ett populationsgenomsnitt med tydlig spridning, och i segment med hög AI-vana kan öppen märkning läsa som trovärdighet.
Litteraturvana ger noll överföring. Deltagarnas erfarenhet av skönlitteratur predicerade ingenting alls om deras träffsäkerhet. AI-vana predicerade den. Måttet fångar visserligen läsfrekvens och yrkesmässig textkontakt, alltså exponering snarare än skicklighet, och annan forskning visar att professionella författare bedömer AI-text som mindre kreativ. Med den reservationen står ändå gränsfallet kvar: två kompetenser som ligger nära varandra i ytan, där den ena bär över på uppgiften och den andra står stilla. För den som arbetar med kompetensmodellering är det ett användbart fall, eftersom spridning av mognad kräver mer än närhet i domän.
Förmågan rör sig snabbt. Studie 2 och studie 3 använde samma texter, samma huvudfråga och samma rekryteringsplattform, med skillnaden att den senare bytte ut mätinstrumenten för AI-vana. I studie 3 svarade 52,0 procent rätt, en nivå som ligger på slumpen. Skillnaden mot studie 2 är 12,6 procentenheter. Om avkodningsförmågan i en befolkning kan förskjutas så mycket på några månader, då är varje mätning av den här typen färskvara. Det förtjänar en egen undersökning.
Reservationer
Ingen av studierna är förregistrerad. Sex texter totalt är ett tunt underlag, och den begränsningen gäller min tolkning lika mycket som forskarnas slutsats.
Ett textpar går emot mönstret. I studie 3 svarade deltagarna rätt över slumpnivå på paret FISH och Reflections in Still Water. Den AI-texten genererades i november 2023, tretton månader före de två andra, vilket öppnar för att detekterbarheten hänger på vilken modellgeneration som skrivit texten snarare än på läsaren. Det talar för att undersöka modellversion som egen variabel. Att flyt avkodas som mänskligt ursprung ska läsas som en hypotes som materialet stöder, med en tydlig och testbar prediktion: variera textens läsbarhet oberoende av dess ursprung, och se om bedömningen följer läsbarheten. Poängen med hela texten är att slutsatser dras för fort ur det här materialet, vilket förpliktigar.
Det som står kvar är ändå tillräckligt. Vi har byggt vår känsla för äkthet på en form som numera går att tillverka. Frågan är vad vi ersätter den med.
Sears, S. & Weisberg, D. S. (2026). Bot or not: Can people tell the difference between stories written by a human or by an AI system? Judgment and Decision Making, 21, e21.
Läs studien: doi.org/10.1017/jdm.2026.10042. Öppen tillgång, CC BY-NC.
Data, material och analysskript: osf.io/d8f6m
