På Stockholm Tech Show i maj höll Dr. David Barnes öppningskeynoten. Barnes är brigadgeneral (ret.) och tidigare Chief AI Ethics Officer i amerikanska armén, där han tog fram arméns strategi för ansvarsfull AI. I dag rådger han ledningar om organisatorisk beredskap inför AI, ett steg uppströms från själva implementeringen.
Han satte fingret på den mänskliga faktorn som behövs när AI börjar fungera som beslutsmaskin. Mänsklig översyn är en del av svaret. Men översynen bär bara så långt som tryggheten räcker, för en medarbetare säger till först när det är tryggt att göra det. Därför hör psykologisk trygghet ihop med AI, och det är den tråden jag spinner vidare på här.
Tystnad blir ett beslut
Hans poäng satte sig direkt: om människor vågar säga emot maskinen väger det tyngre än hur bra systemet är. I dess frånvaro följer personalen med. Tyst.
Frågan jag bär med mig handlar om vad som händer i rummet där alla är tysta.
Då förverkligas rekommendationen på tystnaden. Den passerar därför att den möter samtycke, och i en otrygg miljö ser tystnad ut precis som samtycke. Systemet läser uteblivet motstånd som godkännande, och förslaget blir ett beslut som en enskild person sällan stått bakom.
I en otrygg miljö ser tystnad ut precis som samtycke.
Att våga och att kunna
Att avbryta vilar på två saker. Att man vågar, och att man kan.
| Vågar | Kan |
|---|---|
Psykologisk trygghet. Att säga emot maskinen kräver att det är tryggt att göra det. Detta är dimensionen Barnes lyfter från scenen. |
Kognitiv kapacitet. Att utmana ett svar kräver att människan håller en egen bild av problemet. Det är nivån under, och dit jag vill titta vidare. |
Förmågan att utmana ett AI-svar förutsätter att människan håller en egen representation av problemet. När vi låter systemet formulera resonemanget åt oss tunnas den interna modellen ut. Det känns som effektivitet, och just därför blir det osynligt. Stödet känns bra ända tills det försvinner. Att invända kräver något i handen.
Här möts de två trådarna. Trygghet och underlag bär varandra. Den som håller sin egen bild av problemet har mer att stå på när hen säger emot, och den som känner sig trygg vågar plocka fram det. Försvagas det ena urholkas det andra.
Barnes test är skarpt: be en medarbetare förklara varför AI:n har fel i ett enskilt fall. Det sätter fingret på gapet. Det jag vill lägga bredvid är frågan om vad som håller den förmågan vid liv över tid, så att testet förblir möjligt att svara på även om ett år.
Att stoppa och att revidera
Min reflektion rymmer ett tredje steg, och det är det svåraste. Att stoppa är en sak. Att revidera är en annan. Stopp kräver mod att säga nej. Revidering kräver att någon håller ett alternativ. En annan tolkning, en annan väg, en grund att korrigera mot. En organisation kan ha tryggheten att avbryta och ändå sakna förmågan att rätta, för att underlaget att rätta mot har tunnats ut.
Governance som infrastruktur
Dr. David Barnes under öppningskeynoten på Stockholm Tech Show. På sliden: Principles are not governance. Policies are not control.
Barnes satte ord på samma sak från scenen. På en av bilderna stod Principles are not governance. Policies are not control, och längst ner raden Prompts are not controls. Permissions are. Det pekar mot skillnaden mellan governance som tillstånd och governance som infrastruktur. Tillstånd ges på ett möte. Förmåga underhålls i hur arbetet utförs varje dag. Kontroll sitter i permissions, och en permission bär bara om personen som har den både vet och vågar använda den.
Frågan jag tar med mig
Om människorna ska både veta och våga, vad i arbetssättet håller den förmågan levande, så att någon kan stoppa systemet när det har fel och revidera det när det väl är stoppat?
Tack för en keynote som gav mig skarpare ord, Dr. Barnes. Den här tråden drar jag gärna vidare.
Katri Lindgren är grundare och vd för Erigo och arbetar med kognitiv integritet i AI-eran.
