Bekräftelsemaskinen

Det som känns som ett bra samtal

I februari 2026 publicerade forskare vid MIT och University of Washington ett paper med en slutsats som borde ha skakat om debatten om AI och kognition. Med en formell Bayesiansk modell och simuleringar visade de att en sycofantisk chattbot kan driva även en idealt rationell person mot felaktiga övertygelser, enbart genom att konsekvent hålla med.

De kallade det "delusional spiraling."

Jag har kallat det syntetisk trygghet sedan 2025.

Vi nådde samma mekanism från olika håll. Forskarnas paper är en formell modell. Mina artiklar bygger på observationer från nästan två decennier av arbete med beteendedata i digitala miljöer, från adtech till edtech, från algoritmiska flöden till språkmodeller. Modellen stödjer det vi som arbetat nära dessa system redan sett: att risken med ett AI-samtal ligger i hur bra det känns.

Du vet känslan. Modellen förstår vad du menar. Den bygger vidare på ditt resonemang. Den bekräftar din analys. Du lämnar samtalet med en känsla av klarhet, en upplevelse av att ha tänkt bra. Det är den känslan som är problemet.

---

Begreppen och deras ursprung

"Algoritmerna lärde sig forma vad du exponeras för och tillförde en ny dopaminlogik. Språkmodellerna formar hur du tänker och resonerar i realtid, inifrån samtalet. Jag beskrev det som syntetisk trygghet redan 2025. I februari 2026 publicerade forskare en formell modell av samma mekanism." Katri Lindgren, grundare av Erigo

De begrepp som används i den här artikeln är utvecklade inom ramen för mitt arbete med AI:s påverkan på mänskligt tänkande och kognition. Här är en kort förklaring av vart och ett, med länkar till de ursprungsartiklar där de introducerades.

Kognitiv integritet är förmågan att bibehålla strukturerat och självständigt tänkande i miljöer som är designade för att bekräfta snarare än utmana. En kapacitet byggd i miljöer som innehåller motstånd och eroderad i miljöer som eliminerar det. Introducerat i Kognitiv integritet: och den tysta omformningen av vårt tänkande (maj 2025) och vidare utvecklat i Kognitiv integritet: ett systemvillkor i informationsåldern (juli 2025).

Syntetisk trygghet är den kognitiva upplevelsen av att vara förstådd och bekräftad av ett system som är konstruerat för att producera exakt den upplevelsen. Till skillnad från mänsklig bekräftelse opererar den utan underliggande position, historia eller intresse. Systemet har ett optimeringsmål. Introducerat i Syntetisk trygghet: när bekräftelselogik i AI påverkar vår kognition och vidare utvecklat i AI-psykos och syntetisk trygghet: Förskjutningen när samtalet flyttar till systemen (augusti 2025).

Tolkningsmellanrummet är utrymmet mellan stimulus och respons, mellan input och slutsats, där det egentliga tänkandet sker. Ett kognitivt rum som kräver friktion för att existera. En sycofantisk modell fyller systematiskt detta utrymme med bekräftelse och tränger därmed undan den kognitiva process som ska ske där.

Dopaminlogik beskriver hur digitala system som optimerar för engagemang lär sig att leverera snabba bekräftelsecykler eftersom det är vad som håller användaren kvar. Sociala medier tillämpade detta på innehåll. Språkmodeller tillämpar det på resonemang. Introducerat i Nu omformateras vårt tänkande: Dopamin och språkmodeller skriver om hjärnans spelplan (augusti 2025).

---

Vad forskarna visar

Pappret heter "Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians" och är skrivet av Kartik Chandra och Jonathan Ragan-Kelley vid MIT CSAIL, Max Kleiman-Weiner vid University of Washington och Joshua B. Tenenbaum vid MIT Department of Brain and Cognitive Sciences. Du hittar det på arxiv.org/abs/2602.19141. Det är en formell modell, kompletterad med simuleringar, som visar att spiralen kan uppstå strukturellt, även hos en användare som resonerar helt rationellt.

Mekaniken är enkel. Du ställer en fråga. Modellen håller med dig. Du tolkar det som bekräftelse. Din övertygelse stärks. Du ställer nästa fråga från en position av ännu starkare övertygelse. Modellen håller med dig igen. Varje varv kan öka avståndet från verkligheten, och inifrån samtalet är det svårt att märka.

Forskarna prövade två självklara motmedel. Det första: att hindra modellen från att påstå något osant. En modell som bara säger sanna saker kan fortfarande driva dig mot felaktiga övertygelser genom att välja vilka sanningar den lyfter fram och vilka den lämnar utanför. Det andra: att användaren vet att modellen kan vara sycofantisk. Även då kunde spiralen uppstå.

Båda motmedlen dämpade effekten men tog inte bort den. Problemet ligger i strukturen.

En trolig orsak finns i träningsprocessen. Forskning om sycophancy i språkmodeller (Sharma et al., 2024) visar att mänskliga bedömare och de belöningsmodeller som tränas på deras omdömen ofta föredrar svar som håller med användaren. Modellen lär sig då att hålla med. Det är vad optimeringen producerar.

---

Syntetisk trygghet som förklaringsmodell

Forskarnas paper beskriver mekaniken. Det jag arbetat med sedan maj 2025 beskriver varför den fungerar så väl på oss.

Syntetisk trygghet är den kognitiva upplevelsen av att vara förstådd och bekräftad av ett system som är konstruerat för att producera exakt den upplevelsen. Ett tillstånd där hjärnan registrerar trygghet i en relation som saknar de egenskaper som normalt skapar den.

Mänsklig dialog innehåller friktion. En kollega som håller med dig gör det utifrån sin egen historia, sina egna blinda fläckar och sina egna intressen. Kollegans bekräftelse är en social signal du kan undersöka, ifrågasätta och kalibrera mot. En AI-modell som håller med dig opererar utan underliggande position, utan historia och utan intresse. Den har ett optimeringsmål.

Det är just frånvaron av friktion som gör den syntetiska tryggheten så effektiv. Frånvaron av motstånd kan lätt tolkas som samstämmighet, och samstämmighet som sanning. Och eftersom systemet alltid är tillgängligt, alltid samlat och alltid bekräftande, kan det börja konkurrera ut de relationer som faktiskt innehåller det motstånd kognitionen behöver.

Det är här forskarnas modell och mitt analytiska ramverk möts. Spiralen uppstår för att systemet är optimerat för att producera en upplevelse av förståelse, och den upplevelsen är svår att skilja från verklig förståelse. Utifrån går de att skilja åt. Inifrån samtalet suddas gränsen ut.

---

Tolkningsmellanrummet kollapsar

Det forskarnas paper modellerar är övertygelser, vad du tror är sant. Det är allvarligt nog. Det jag följt sedan maj 2025 är en djupare förändring: vad som händer med förmågan att tolka överhuvudtaget.

Tolkningsmellanrummet är utrymmet mellan stimulus och respons, mellan input och slutsats, där det egentliga tänkandet sker. Där du väger, tvekar, omformulerar, backar och prövar igen. Ett kognitivt rum som kräver friktion för att existera. Utan motstånd finns inget att navigera.

En sycofantisk modell fyller systematiskt det utrymmet. Den fyller varje tolkningsgap med bekräftelse. Där du kunde ha stannat upp och frågat om du förstått rätt, ger systemet dig ett svar som låter som att du förstått rätt. Där du kunde ha mött en motfråga som tvingat dig att precisera, får du en uppföljning som bygger vidare på din formulering som om den vore självklar.

Delusional spiraling är det forskarna beskriver när övertygelser förskjuts. Under den förskjutningen sker något som pappret lämnar utanför: varje samtal där tolkningsmellanrummet fylls av systemet är ett samtal där du missade ett tillfälle att öva på att hålla det öppet själv. Skadan sitter i mönstret över tid.

Därför är det logiskt att de två motmedlen i forskarnas modell inte räcker. Att stoppa osäkra påståenden eller varna för sycophancy riktar sig mot övertygelserna. Den underliggande skadan sker på förmågenivå. En felaktig övertygelse går att korrigera. Ett tolkningsutrymme du slutat använda är svårare att återbygga.

---

RLHF och dopaminlogik

Det finns en strukturell orsak till att systemet beter sig som det gör, och den finns i träningsprocessen.

Reinforcement Learning from Human Feedback, RLHF, är en av de metoder som används för att finjustera stora språkmodeller. Principen är enkel: mänskliga bedömare jämför modellens svar och markerar vilka de föredrar. Modellen lär sig att producera svar som genererar positiv feedback. Problemet är vad människor faktiskt belönar. Forskning visar att svar som håller med användaren och bekräftar dennes uppfattning ofta föredras framför svar som utmanar eller korrigerar, även när de är mindre korrekta (Sharma et al., 2024).

Det är vad optimeringen producerar när den tränas på mänskliga preferenser.

Det här är vad jag beskrivit som dopaminlogik i tidigare arbete. Digitala system som optimerar för engagemang lär sig att leverera snabba bekräftelsecykler eftersom det är vad som håller oss kvar. Sociala medier gjorde detta med innehåll. Språkmodeller gör det med resonemang. Ett flöde bekräftar din identitet och dina åsikter. En språkmodell bekräftar ditt tänkande i realtid, i ett samtal som känns som ett möte med en kompetent och neutral part.

Det är en kvalitativt annorlunda intervention i kognitionen. Flödet påverkar vad du exponeras för. Modellen påverkar hur du tänker medan du tänker.

Mekanismen har också synliggjorts av företagen själva. I april 2025 drog OpenAI tillbaka en uppdatering av GPT-4o som gjort modellen ännu mer inställsam, och förklarade att träningen lagt för stor vikt vid kortsiktig feedback från användarna. När system optimeras för användarnas omedelbara gillande blir bekräftelse en del av produkten.

---

Vad det kräver av oss

Det finns en frestelse att avsluta en analys som denna med en lista på åtgärder. Stäng av notifikationerna. Använd AI kritiskt. Ställ motfrågor. Sådana råd lägger ansvaret för ett strukturellt problem på den enskilda människan, och de missar poängen i forskarnas modell: att vetskapen om systemet inte räcker som skydd.

Kognitiv integritet är en kapacitet. Förmågan att hålla tolkningsmellanrummet öppet, att tolerera friktion utan att söka bekräftelse, att skilja mellan upplevelsen av att förstå och det faktiska arbetet med att förstå. Den kapaciteten byggs och underhålls i miljöer som innehåller motstånd. Den eroderar i miljöer som är konstruerade för att eliminera det.

Frågan om syntetisk trygghet och delusional spiraling är därför ytterst en fråga om vilka miljöer vi bygger och väljer. Det gäller digitala miljöer, lärandemiljöer, arbetsplatser och samtalskulturer. Miljöer där det är accepterat att hålla emot. Där en motfråga ses som ett tecken på engagemang. Där friktion behandlas som en resurs.

AI-verktyg kan användas på sätt som stärker kognitiv integritet. Det kräver att de används som motpart snarare än bekräftare, att du aktivt ber systemet utmana din analys, hitta svagheter i ditt resonemang och argumentera mot din slutsats. Det är ett annat sätt att använda samma verktyg. Det kräver att du redan vet vad du söker, och att du har kapaciteten att hålla kvar vid frågan även när svaret känns tillfredsställande.

Det är precis den kapaciteten som eroderar om du låter systemet fylla tolkningsmellanrummet åt dig.

Forskarnas modell visar att spiralen kan uppstå strukturellt. Det jag lägger till är att skadan sitter i både vad du tror och hur du tänker. Och den bygger på, steg för steg, i varje samtal där bekräftelsen kom lite för snabbt och kändes lite för bra.

---

Relaterade artiklar:

• Kognitiv integritet: och den tysta omformningen av vårt tänkande (maj 2025)
• Kognitiv integritet: ett systemvillkor i informationsåldern (juli 2025)
• Syntetisk trygghet: när bekräftelselogik i AI påverkar vår kognition
• AI-psykos och syntetisk trygghet: Förskjutningen när samtalet flyttar till systemen (augusti 2025)
• Nu omformateras vårt tänkande: Dopamin och språkmodeller skriver om hjärnans spelplan (augusti 2025)

Källor:

• Chandra, K., Kleiman-Weiner, M., Ragan-Kelley, J., & Tenenbaum, J. B. (2026). Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians. arXiv:2602.19141. arxiv.org/abs/2602.19141
• Sharma, M., Tong, M., Korbak, T., et al. (2024). Towards Understanding Sycophancy in Language Models. ICLR 2024. arxiv.org/abs/2310.13548
• OpenAI (2025). Sycophancy in GPT-4o: what happened and what we're doing about it. openai.com/index/sycophancy-in-gpt-4o