När AI slutar hålla med

Skyddet vi haft utan att kalla det skydd

Fram till nu har vår granskning av AI-genererat innehåll vilat på en enkel grund: vi vet att modellerna har fel ibland. Hallucinerade källor, påhittade siffror, självsäkra felslut. Varje användare bär på erfarenheten av att ha blivit felinformerad av en modell som lät övertygande.

Den erfarenheten är obekväm, och den är värdefull. Vetskapen om felbarheten är det som håller granskningen vid liv. Vi läser kritiskt eftersom vi har anledning. Vi verifierar eftersom vi blivit brända. Felen fungerar som vaccinationer: små doser av misstro som upprätthåller immunförsvaret.

Det skyddet är nu på väg att monteras ner, av rätt skäl. Modellerna blir mer korrekta, mer benägna att säga emot, mer noggranna med sina källor. Varje förbättring är önskvärd i sig. Tillsammans avvecklar de anledningen att granska.

Förtjänat förtroende är svårare att värja sig mot

Jag har tidigare beskrivit syntetisk trygghet: känslan av att vara förstådd och bekräftad av ett system konstruerat för att producera den känslan. I medhållets generation var tryggheten en känsla utan täckning. Modellen höll med för att medhåll belönats i träningen, och den som förstod mekanismen kunde avfärda känslan.

Nu får känslan täckning. En modell som faktiskt säger emot, som faktiskt korrigerar, som faktiskt oftare har rätt, förtjänar en del av det förtroende den får. Det gör förtroendet mer motiverat och samtidigt farligare, eftersom förtjänat förtroende är den mekanism som stänger av granskning på riktigt. Oförtjänt förtroende kan punkteras med ett enda uppdagat fel. Förtjänat förtroende överlever felen, eftersom helhetsbilden stämmer.

Logiken ser ut så här:

• Modellen har rätt allt oftare
• Varje korrekt svar sänker den upplevda avkastningen på granskning
• Granskningen minskar, som rimlig resurshushållning betraktat
• De fel som återstår möter en användare som slutat leta efter dem

Varje steg är rationellt. Slutresultatet är en användare utan försvar.

Flyget har redan gjort experimentet

Mönstret är dokumenterat sedan decennier inom human factors-forskningen under namnet automation complacency. Raja Parasuraman och kollegor visade redan på 1990-talet att människors övervakning av automatiserade system försämras i takt med att systemen blir mer pålitliga. Piloter som arbetar med en autopilot som nästan alltid gör rätt slutar upptäcka de tillfällen när den gör fel. Vaksamhet kräver en felfrekvens som håller den vid liv, och väl fungerande automation levererar det motsatta.

Flygbranschen svarade med systematiska motåtgärder: obligatorisk manuell flygning för att underhålla färdigheten, träning specifikt på automationens felmoder, procedurer som tvingar fram aktiv kontroll även när allt ser rätt ut. Branschen accepterade en kostsam insikt: förmågan att övervaka ett system förfaller när den lämnas oanvänd, och pålitlig automation lämnar den oanvänd.

Det som hände autopiloten händer nu tänkandet. Skillnaden är att piloten övervakar en flygbana, medan språkmodellens användare övervakar sina egna slutsatser. Det som förfaller är inte en yrkesfärdighet utan tolkningsförmågan själv.

Mönstret är beskrivet på Erigo sedan tidigare. I en text om deskilling och automation bias från augusti 2025 ställde jag frågan vad som händer när vi låter systemen fatta våra beslut och tränar bort vår egen förmåga. Den här texten är ett svar: det som försvinner är både förmågan och anledningen att märka förlusten.

Tolkningsmellanrummet töms från andra hållet

I tolkningsmellanrummet, utrymmet mellan input och slutsats där det egentliga tänkandet sker, gjorde medhållet och tillförlitligheten olika sorters skada.

Medhållet fyllde utrymmet med bekräftelse. Granskningen fick aldrig plats, eftersom svaret redan kändes rätt.

Tillförlitligheten arbetar från andra hållet. Den tömmer utrymmet på anledning. Granskningen får plats, men motivet att använda den försvinner, eftersom kalkylen säger att den sällan ger utdelning. Medhållet lurade oss att avstå från tolkningsarbetet. Tillförlitligheten gör det rimligt att avstå. Det andra är svårare att argumentera emot, och därför det större hotet mot tolkningsförmågan över tid.

Klassfrågan: vem får friktion, vem får medhåll

Det finns en ekonomisk dimension som skärper problemet. Modellerna som tränats bort från medhåll, som granskar sitt eget arbete och som säger emot, ligger i premiumsegmentet. Fable 5 kostar flera gånger mer än standardalternativen. De som betalar får motstånd och kvalitet. De som använder gratis- och lågprisalternativen möter äldre modellgenerationer där medhållslogiken lever kvar.

Granskningsförmåga blir därmed en resursfråga i två led:

• Vem får den bättre modellen. Korrekthet och intellektuell friktion prissätts som premiumfunktioner.
• Vem behåller vanan att granska. De som arbetar med de bästa modellerna får minst anledning att öva förmågan, medan de som möter medhållsmodellerna behöver den som mest och får minst stöd att utveckla den.

Kognitiv integritet, förmågan att behålla sitt eget tolkningsarbete i mötet med systemen, riskerar att bli ojämnt fördelad längs samma linjer som annan infrastruktur.

Granskning som förmåga att underhålla

Slutsatsen pekar mot en omställning i hur vi tänker på granskning. Så länge modellerna hade fel ofta var granskningen en reaktion på risk. När modellerna har rätt oftast behöver granskningen bli något annat: en förmåga som underhålls för sin egen skull, oberoende av dagens felfrekvens. Man granskar för att behålla kapaciteten att granska, på samma sätt som en muskel tränas oavsett om dagens last kräver den.

I praktiken:

• Behåll verifieringen av det som bär vikt. Beslut, siffror, källor och slutsatser som får konsekvenser kontrolleras oavsett hur träffsäker modellen varit senast. Kriteriet är konsekvens, inte misstanke.
• Gör granskningen till schema istället för impuls. Vaksamhet som beror på magkänsla följer felfrekvensen nedåt. Vaksamhet som sitter i arbetssättet består.
• Odla vanan att formulera en egen bedömning först. Den som läser modellens svar före sin egen tanke får sitt tolkningsarbete gjort åt sig. Ordningen avgör vem som tänker.

Modellernas ökande korrekthet är värd att välkomna. Vetskapen om att de kunde ha fel var samtidigt det som skyddade vår granskning, och det skyddet försvinner nu i takt med att det blir omotiverat. Det som ersätter det måste vi bygga själva, i arbetssätt och i vana. Tolkningsarbetet flyttar aldrig av egen kraft tillbaka till användaren. Det stannar där det placeras.

Katri Lindgren har arbetat med digital beteendedata sedan 2008 och skriver om kognitiv integritet, syntetisk trygghet och tolkningsmellanrummet. Begreppen finns samlade i working paper-form på Zenodo (DOI: 10.5281/zenodo.19916093).