Säker och säkrad agentic AI: Governance, identitet och red-teaming Träningskurs

Grunder: Hotmodeller för agentic AI

• Typer av agentic hot: missbruk, eskalering, dataläckage och risker i leveranskedjan
• Profiler av motståndare och attackerars förmågor specifika för autonoma agenter
• Kartläggning av tillgångar, förtroendegränser och kritiska styrningspunkter för agenter

Governance, policy och riskhantering

• Governance-ramverk för agentic system (roller, ansvar, godkännandeportar)
• Policydesign: acceptabel användning, eskaleringsregler, datahantering och revisionsmöjlighet
• Överväganden kring compliance och insamling av bevis för revisioner

Icke-mänsklig identitet & autentisering för agenter

• Design av identiteter för agenter: tjänstekonton, JWT och kortlivade kreditiv
• Mönster för minst-nödvändiga behörigheter och just-in-time-kreditiv
• Livscykel för identiteter, rotation, delegering och återkallsstrategier

Åtkomstkontroller, hemligheter och dataskydd

• Modell för finjusterad åtkomstkontroll och mönster baserade på förmågor för agenter
• Hantering av hemligheter, kryptering i transmission och i vila, samt dataminimering
• Skydd av känsliga källor för kunskap och PII från obehörig åtkomst av agenter

Observability, revision och incidenthantering

• Design av telemetri för agentbeteende: spårning av avsikt, kommandologgar och ursprung
• SIEM-integration, varningströsklar och beredskap för rättsmedicin
• Runbooks och playbooks för agenterelaterade incidenter och begränsning

Red-teaming av agentic system

• Planering av red-teamövningar: räckvidd, engagemangsregler och säker fallback
• Adversariella tekniker: prompt-injektion, missbruk av verktyg, manipulation av chain-of-thought och API-missbruk
• Utförande av kontrollerade attacker och mätning av exponering och påverkan

Härdning och mitigeringar

• Ingeniörsmässiga åtgärder: svarssvältning, förmågestyrning och sandboxing
• Policy- och orkestreringskontroller: godkännandeflöden, human-in-the-loop och governance-hakar
• Försvar på modell- och promptnivå: inmatningssäkerhet, normalisering och utmatningsfilter

Driftsättning av säkra agentimplementeringar

• Implementeringsmönster: staging, canary och progressiv utrollning för agenter
• Ändringskontroll, testpipelines och säkerhetskontroller före utrollning
• Tvärfunktionell governance: playbooks för säkerhet, juridik, produkt och drift

Slutarbete: Red-team / Blue-team-övning

• Exekvera en simulerad red-teamattack mot en sandboxad agentmiljö
• Försvara, detektera och åtgärda som blue team med hjälp av kontroller och telemetri
• Presentera resultat, åtgärdsplan och policyuppdateringar

Sammanfattning och nästa steg