EU:s AI-förordning kräver att leverantörer av GPAI-modeller analyserar och hanterar risker kopplade till användning i stor skala. GPAI Code of Practice ger vägledning i hur detta kan ske, särskilt vid systemrisk.
Denna artikel förklarar vad det innebär i praktiken.
Vad är systemrisk i AI?
Enligt AI-förordningen (AI Act) uppstår systemrisk (systemic risk) när en GPAI-modell kan påverka samhället på bred nivå genom:
- Utbredd användning i flera sektorer
- Möjlighet att förstärka desinformation eller bias
- Oförutsedda effekter som sprider sig snabbt
Systemrisk behöver inte vara avsiktlig. Det handlar om spridningspotential och kapacitet att forma beteenden, processer eller beslutsunderlag i stor skala.
Säkerhetskrav enligt GPAI-koden
Koden beskriver fyra nyckelområden för säkerhet:
1. Riskmodellering
Leverantörer bör genomföra systematisk analys av:
- Sannolika felutfall och deras konsekvenser
- Sårbarheter vid olika typer av användning
- Interaktion med andra tekniska system
2. Red-teaming
Red-teaming innebär att modellen testas av interna eller externa team som försöker:
- Identifiera oönskade utfall (t.ex. felaktiga rekommendationer, skadligt innehåll)
- Provocera fram gränssituationer
- Dokumentera riskbeteenden
Resultaten används för att kalibrera, justera och begränsa modellen.
3. Adversarial testing
I denna typ av testning exponeras modellen för:
- Medvetet manipulerade inputs
- Försök till prompt injection eller jailbreak
- Scenarier där modellen kan kringgå säkerhetsfilter
Adversarial testing dokumenteras och följs upp som del av modellens utvecklingscykel.
4. Preventiva skyddsåtgärder
Koden rekommenderar att säkerhetsåtgärder integreras i:
- Modellarkitekturen (ex. inbyggda spärrar)
- Inferensgränssnitt (ex. promptfilter, begränsningar i API)
- Versionshantering (dokumentation av förändringar, rollback-rutiner)
Tillämpning vid GPAI-modeller med hög spridningsgrad
Modeller med många användningsområden, till exempel foundation models som används i arbetsflöden, beslutsstöd eller utbildning, behöver särskild uppföljning.
Exempel på tillämpningar med potentiell systemrisk:
- Automatiserad textgenerering i nyhetsflöden
- Generativ kod i kritisk mjukvara
- AI-assistenter i myndighetskontakter
I dessa fall behöver leverantörer dokumentera hur riskerna kartlagts och vilka åtgärder som vidtagits.
Ansvarsfördelning
För att säkerhetsarbetet ska vara systematiskt bör ansvar fördelas mellan:
- Utvecklingsteam: design av riskhanteringsmetoder och verktyg
- Produktägare: beslut om säkerhetsnivåer och externa granskningar
- Ledning: etablering av styrning, etikpolicy och process för ansvarsfördelning
Relevans vid offentlig upphandling
GPAI-modeller som används i offentlig sektor behöver visa att de genomgått strukturerad säkerhetsanalys. Red-teaming och dokumentation av hantering av oönskade utfall kan bli centrala krav i framtida upphandlingar eller certifieringssystem.
Sammanfattning
Systemrisk i AI handlar inte om fel i sig, utan om skalbarhet och genomslag. GPAI Code of Practice rekommenderar att leverantörer etablerar:
- Riskmodellering
- Red-teaming
- Adversarial testing
- Inbyggda skyddsåtgärder
…och dokumenterar detta för att kunna visa efterlevnad av AI-förordningens säkerhetskrav.
Nyckelbegrepp för vidare läsning:
- Systemic risk in AI
- AI red-teaming best practices
- GPAI safety documentation
- Adversarial testing foundation models
- AI security compliance EU
- Responsible AI deployment
- AI Act risk assessment
Relaterade artiklar i klustret
Denna artikel är en del av ett innehållskluster om GPAI och AI-förordningen. Läs även:
Frågor om systemrisk och AI-säkerhet
Frågor och svar om riskmodellering, red-teaming och styrning
Vad innebär systemrisk enligt AI-förordningen och hur ska leverantörer av GPAI hantera säkerhetsfrågor? Här besvaras vanliga frågor om GPAI Code of Practice och riskhantering.
Vad är systemrisk i generativa AI-modeller?
Systemrisk uppstår när en AI-modell har potential att påverka flera sektorer samtidigt, förstärka desinformation eller orsaka oavsiktliga skador i stor skala.
Hur hanterar man systemrisk enligt GPAI-koden?
GPAI-leverantörer bör genomföra riskmodellering, red-teaming, adversarial testing och dokumentera vilka skyddsåtgärder som finns i modellen och dess gränssnitt.
Vad är red-teaming i AI-sammanhang?
Red-teaming innebär att en modell testas av oberoende interna eller externa team som försöker provocera fram felbeteenden, sårbarheter eller oönskade resultat.
Vad är adversarial testing?
En testmetod där modellen utsätts för manipulerade inputs eller promptförsök som kan kringgå filter, för att identifiera svagheter i säkerhetslogiken.
Måste alla GPAI-modeller genomgå dessa tester?
Det rekommenderas särskilt för modeller som används brett eller i offentliga tillämpningar. AI-förordningen pekar ut detta som en central del av ansvarsfull AI-utveckling.
em ansvarar för riskhantering i AI-projekt?
Ansvar bör delas:
-
Teknikteam utvecklar testmetoder
-
Produktägare fastställer säkerhetsnivåer
-
Ledning ansvarar för policy, styrning och godkännande
Är kraven bindande idag?
Inte ännu. GPAI Code of Practice är en frivillig vägledning, men ses som grund för framtida tillsyn och upphandlingskrav inom EU.
