Det oläsbara

Vetenskapen som säger nej

2019 genomförde fem forskare vid bland annat Northeastern University och Caltech en omfattande systematisk granskning av forskningen om ansiktsuttryck och känslor, publicerad i Psychological Science in the Public Interest. De kom från olika sidor av debatten. De var oense om mycket.

De var eniga om en sak: det finns inget vetenskapligt stöd för att en persons känslotillstånd kan utläsas från ansiktet.

Samma ansikte kan betyda olika saker. Samma känsla kan ta sig olika uttryck. I en studie från Papua Nya Guinea, publicerad i PNAS 2016, visade forskare att Trobriand-öborna tolkade det västerländska "rädsleansiktet" som ett uttryck för hot och aggression. Du kan le av hat. Du kan rynka pannan av förtjusning.

Det här borde vara slutet på historien. Vetenskapen säger nej, industrin packar ihop, vi går vidare.

Men industrin växer.

Och det är här det blir intressant. För frågan är inte längre om tekniken fungerar. Frågan är vad den gör. Oavsett om den fungerar.

Begäret efter läsbarhet

Det finns något förföriskt med tanken på läsbarhet. Att världen går att avkoda om vi bara har rätt verktyg.

Ekman ville det. Polisen ville det. TSA i USA spenderade 900 miljoner dollar mellan 2007 och 2012 på ett program kallat SPOT (Screening of Passengers by Observation Techniques) som skulle identifiera terrorister på flygplatser genom att läsa stress och rädsla i deras ansikten. Enligt en granskning från U.S. Government Accountability Office (GAO-14-159, 2013) fanns inga belägg för att det någonsin fungerade. En tidigare GAO-rapport från 2010 dokumenterade att minst 16 personer som senare kopplades till terroristaktivitet hade passerat genom SPOT-flygplatser vid sammanlagt 23 tillfällen utan att upptäckas.

Men begäret efter läsbarhet försvinner inte för att verkligheten är rörigare.

Ansiktet som yta

Jag tänker på min dotter. Hon har autism och ADHD. Hon skrattar ibland när hon är ledsen. Ler när något är fel. Kopplingen mellan känsla och uttryck går andra vägar hos henne.

En algoritm tränad på Ekmans sex kategorier skulle läsa henne fel. Varje gång.

Och hon är inte unik. Hon är bara tydlig. Det hon visar öppet finns hos oss alla, mer eller mindre dolt: att ansiktet är en yta. Ibland transparent, ibland ogenomtränglig, ofta något mittemellan.

Varför vi fortsätter bygga

Så varför fortsätter vi bygga system som om det vore annorlunda?

Kanske för att alternativet är svårare att sälja. "Vi kan ge dig en indikation som kräver tolkning och kontext" är inte en pitch som får riskkapital.

Kanske för att vi själva vill tro på läsbarheten. Det är tryggt att tänka att intentioner syns, att den som döljer något avslöjar sig.

Men här börjar det vända. För även om systemen inte kan läsa oss korrekt, gör de något annat.

De förändrar oss.

När övervakning förändrar hjärnan

I december 2024 publicerade forskare vid University of Technology Sydney en studie i tidskriften Neuroscience of Consciousness som gjorde mig orolig på ett nytt sätt.

De delade in 54 försökspersoner i två grupper. En grupp visste att de var övervakade via kamera. Den andra visste inte.

Sedan mätte de något som inte går att styra medvetet: hur snabbt hjärnan upptäcker ansikten i synfältet.

De som visste att de var övervakade blev nästan en sekund snabbare på att registrera ansikten. Effekten var specifik för ansikten. För social information.

Hjärnan hade skruvat upp sin radar.

Bortom Hawthorne-effekten

Det här är något annat än beteendeförändring. Hawthorne-effekten, att vi ändrar vårt beteende när vi vet att vi observeras, har varit känd i hundra år. Vi städar undan mer, tvättar händerna oftare, beter oss mer prosocialt.

Men det forskarna i Sydney visade var att övervakning går djupare. Den ändrar inte bara vad vi gör. Den ändrar hur vi processar världen. Omedvetet. Ofrivilligt.

Panoptikon har flyttat in i perceptionen.

Från Bentham till neurologi

Jeremy Bentham ritade sitt panoptikon på 1700-talet. Ett fängelse där fångarna aldrig visste om de var övervakade eller inte, men alltid måste anta att de kunde vara det. Poängen var att fångarna skulle internalisera blicken.

Foucault tog det vidare. Makten behöver inte vara närvarande för att verka. Det räcker att den kan vara det. Vi börjar övervaka oss själva.

Men Foucault skrev om beteende. Om disciplinering av kroppen, om hur vi lär oss sitta stilla, gå i led, lyda klockan.

Det vi ser nu är något mer. Disciplineringen har nått perceptionen. Hjärnan själv anpassar sig.

Gränsen mot det patologiska

Forskningen från Sydney visade något annat också. Hypermedvetenhet om andras blickar är ett kännetecken för social ångest. För psykos. För paranoia.

Det som övervakning gör med oss i mätbar skala liknar det som pågår i tillstånd vi kallar sjukdom.

Gränsen mellan en adaptiv respons och en patologisk respons är kanske inte så skarp som vi vill tro. Det vi kallar "normal anpassning" till övervakningens villkor rör sig i samma neurologiska landskap.

En generation tränad i läsbarhet

Och då har vi inte ens börjat prata om vad som händer när övervakningen inte bara observerar, utan tolkar. När systemet inte nöjer sig med att se dig, utan också vill veta vad du känner.

Det finns ett begrepp inom psykologin: reaktivitet. Det beskriver hur vi förändrar vårt beteende när vi vet att vi studeras.

Men reaktivitet förutsätter att det finns ett "före". Ett sätt vi var innan blicken. Ett autentiskt tillstånd att avvika från.

Vad händer om blicken alltid är där?

Barn utan kamerafri värld

Barn som växer upp idag har aldrig känt en värld utan kameror. Selfiekameran har funnits sedan de kunde hålla en telefon. Videosamtal är normal kommunikation. Att bli inspelad under ett skolprov framstår inte som anmärkningsvärt.

En generation tränas i att vara läsbar.

Genom något subtilt. Genom att det alltid finns en potentiell publik. Genom att varje uttryck kan bli data.

Att hjälpa algoritmen

Jag tänker på hur snabbt vi lär oss att hjälpa algoritmen.

Om du någonsin justerat ditt ansiktsuttryck för att passera en ansiktsigenkänning på flygplatsen. Om du någonsin tonat ner eller upp ditt uttryck i ett videosamtal för att "komma fram" bättre. Om du någonsin undrat hur du ser ut för systemet.

Det är anpassning. Vi gör det för att det fungerar. För att kommunikation handlar om att bli förstådd, och om mottagaren är en algoritm så anpassar vi oss till algoritmens förståelsehorisont.

Problemet är att algoritmens horisont är trång.

Emotionell compliance

Sex känslor. Eller sju, om vi räknar med förakt. Eller åtta, om vi lägger till neutral.

Det är vad systemen ser. Det är de lådor som finns tillgängliga.

Vad händer med allt som inte passar? Ambivalens. Bitterljuv glädje. Sorg blandad med lättnad. Ilska som egentligen är rädsla. Kärlek som känns som ångest.

Det försvinner inte. Men det blir oläsbart. Och det som är oläsbart för systemet blir, gradvis, svårare att ge utrymme åt.

Förenkling i systemets riktning

Det här är vad jag menar med emotionell compliance. Att vi börjar förenkla oss själva i systemets riktning.

För att det är friktionsfritt. För att det fungerar. För att vi internaliserar systemets kategorier och börjar uppleva oss själva genom dem.

Är jag glad? Ledsen? Arg?

Frågan låter enkel. Men den är redan formad av antagandet att svaret är en av dessa. Att känslan har ett namn. Att namnet motsvarar en kategori som går att känna igen utifrån.

När spegeln blir en algoritm

Det finns en äldre filosofisk fråga här. Sociologen Charles Horton Cooley kallade det "the looking-glass self" 1902. Vi formas av hur vi tror att andra ser oss. Spegeljaget.

Men Cooleys spegel var andra människor. Människor som själva var komplexa, tolkande, felbara. Människor som kunde möta tvetydighet med tvetydighet.

När spegeln blir en algoritm händer något annat.

Algoritmen tvekar inte. Den returnerar ett värde. Glad: 73%. Ledsen: 12%. Neutral: 15%.

Och vi, som vill bli sedda, börjar röra oss mot det som registreras.

Rätten att vara oläsbar

Det är här jag landar i något som liknar en hypotes, eller kanske en oro:

Att autenticitet kräver utrymme att vara oläsbar.

Att ett inre liv kräver ett område bortom det registrerbara. Något som inte ryms i kategorier.

Om systemen blir tillräckligt närvarande, tillräckligt länge, tillräckligt tidigt. Om vi aldrig får öva på att vara olästa.

Vad blir då kvar?

Infrastrukturen som byggs

Det är lätt att tänka att vi befinner oss i början av något. Att tekniken är ung, att den kommer att förbättras, att problemen är övergångsproblem.

Men kanske är det tvärtom. Kanske är det nu, medan systemen fortfarande är primitiva, som vi har störst chans att förstå vad som håller på att hända.

För om systemen blir bättre på att läsa mönster, kommer vi att börja tro på dem. Och om vi börjar tro på dem, kommer vi att rätta oss efter dem. Och om vi rättar oss efter dem länge nog, kommer det de mäter att bli det som finns.

Oron som stannar kvar

Jag oroar mig mindre för att AI ska läsa oss fel. Jag oroar mig för att vi ska börja läsa oss själva genom AI:s kategorier.

Att barnet som växer upp med emotionsdetekterande mjukvara i klassrummet lär sig att känsla är något som syns. Att den som inte visar rätt saker vid rätt tillfälle är avvikande. Att det som inte registreras inte riktigt finns.

Problemet med lösningen

Det finns en sorts teknologisk optimism som säger: ge oss tid, ge oss data, ge oss resurser, så löser vi problemen. Bättre träningsdata. Mer nyanserade kategorier. Kulturellt anpassade modeller.

Men problemet är kanske inte att modellerna är för grova. Problemet är kanske själva projektet: att göra det inre läsbart utifrån.

Inte för att det inre är heligt eller mystiskt. Utan för att läsbarheten själv förändrar det som ska läsas.

Det finns inget facit här. Bara en observation: att vi håller på att bygga en infrastruktur för emotionell avläsning utan att ha ställt frågan om vi vill leva i den världen.

Och när infrastrukturen väl finns, blir frågan svårare att ställa.

Källor

Om ansiktsuttryck och känsloigenkänning:

Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., & Pollak, S. D. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest, 20(1), 1–68. https://doi.org/10.1177/1529100619832930

Om kulturella skillnader i ansiktstolkning:

Crivelli, C., Jarillo, S., Russell, J. A., & Fernández-Dols, J. M. (2016). The fear gasping face as a threat display in a Melanesian society. Proceedings of the National Academy of Sciences, 113(44), 12403–12407. https://doi.org/10.1073/pnas.1611622113

Om TSA:s SPOT-program:

U.S. Government Accountability Office (2013). Aviation Security: TSA Should Limit Future Funding for Behavior Detection Activities. GAO-14-159. https://www.gao.gov/products/gao-14-159

U.S. Government Accountability Office (2010). Aviation Security: Efforts to Validate TSA's Passenger Screening Behavior Detection Program Underway, but Opportunities Exist to Strengthen Validation and Address Operational Challenges. GAO-10-763. https://www.gao.gov/products/gao-10-763

Om övervakningens effekt på perception:

Seymour, K., McNicoll, J., & Koenig-Robert, R. (2024). Big brother: the effects of surveillance on fundamental aspects of social vision. Neuroscience of Consciousness, 2024(1), niae039. https://doi.org/10.1093/nc/niae039

Om spegeljaget:

Cooley, C. H. (1902). Human Nature and the Social Order. New York: Charles Scribner's Sons.