OWASP GenAI Säkerhet Träningskurs

Dag 1: Grunder och centrala hot

Modul 1: Introduktion till OWASP GenAI Security Project (1 timme)

Lärandemål:

• Förstå utvecklingen från OWASP Top 10 till GenAI-specifika säkerhetsutmaningar
• Utforska ekosystemet och resurserna för OWASP GenAI Security Project
• Identifiera viktiga skillnader mellan traditionell applikationssäkerhet och AI-säkerhet

Ämnen som behandlas:

• Översikt över missionen och räckvidden för OWASP GenAI Security Project
• Introduktion till ramen Threat Defense COMPASS
• Förståelse för landskapet för AI-säkerhet och regelkrav
• Ytor för attacker mot AI jämfört med sårbarheter i traditionella webbapplikationer

Praktisk övning: Installation av OWASP Threat Defense COMPASS-verktyget och utförande av en första hotbedömning

Modul 2: OWASP Top 10 för LLM:ar – Del 1 (2,5 timmar)

Lärandemål:

• Behärska de fem första kritiska LLM-sårbarheterna
• Förstå attackvektorer och utnyttjandetekniker
• Tillämpa praktiska motåtgärder

Ämnen som behandlas:

LLM01: Prompt Injection

• Direkta och indirekta metoder för prompt injection
• Attacker med dolda instruktioner och kors-kontaminering av prompts
• Praktiska exempel: Jailbreaking av chattraboter och kringgående av säkerhetsåtgärder
• Försvarsstrategier: Sanitering av indata, promptfiltrering, differentiell integritet

LLM02: Uppgiende av känslig information

• Utvinning av träningsdata och läckage av systemprompts
• Beteendeanalys av modeller för exponering av känslig information
• Integritetskonsekvenser och överväganden gällande regelbunden compliance
• Motåtgärder: Utdatafiltrering, åtkomstkontroller, dataanonymisering

LLM03: Sårbarheter i leverantörsleden

• Third-party-modellberoenden och plugg-insäkerhet
• Komprometterade träningsdataset och modellgiftning (model poisoning)
• Bedömning av leverantörsrisker för AI-komponenter
• Säker modelldeployment och verifieringspraktik

Praktisk övning: Laboratorieövning som demonstrerar prompt injection-attacker mot sårbara LLM-applikationer och implementering av försvarsåtgärder

Modul 3: OWASP Top 10 för LLM:ar – Del 2 (2 timmar)

Ämnen som behandlas:

LLM04: Giftning av data och modeller

• Metoder för manipulering av träningsdata
• Ändring av modellbeteende genom giftiga indata
• Backdoor-attacker och verifiering av dataintegritet
• Förebyggande: Valideringspipelines för data, spårning av ursprung (provenance)

LLM05: Otillräcklig hantering av utdata

• Osäker hantering av LLM-genererat innehåll
• Kodinjection genom AI-genererade utdata
• Cross-site scripting via AI-svar
• Validering och sanitering av utdata

Praktisk övning: Simulering av giftning av data och implementering av robusta valideringsmekanismer för utdata

Modul 4: Avancerade LLM-hot (1,5 timmar)

Ämnen som behandlas:

LLM06: Överskridande av befogenheter (Excessive Agency)

• Risker med autonom beslutsfattande och överträdelse av gränser
• Agenters befogenheter och hantering av behörigheter
• Oavsiktliga systeminteraktioner och eskalering av behörigheter
• Implementering av rälsystem (guardrails) och mänsklig översyn

LLM07: Läckage av systemprompt

• Sårbarheter vid exponering av systeminstruktioner
• Uppgiende av inloggningsuppgifter och logik via prompts
• Attacktekniker för att extrahera systemprompts
• Säkrande av systeminstruktioner och extern konfiguration

Praktisk övning: Design av säkra agentarkitekturer med lämpliga åtkomstkontroller och övervakning

Dag 2: Avancerade hot och implementation

Modul 5: Nya AI-hot (2 timmar)

Lärandemål:

• Förstå snabbutvecklade AI-säkerhetsutmaningar
• Implementera avancerade detektions- och förebyggandetekniker
• Designa robusta AI-system mot sofistikerade attacker

Ämnen som behandlas:

LLM08: Svagheter i vektorer och embeddingar

• Sårbarheter i RAG-system och säkerhet i vektordatabaser
• Giftning av embeddingar och attacker som manipulerar likhet
• Adversariska exempel i semantisk sökning
• Säkrande av vektorlager och implementering av anomaliupptäckt

LLM09: Desinformation och modellpålitlighet

• Upptäckt och hantering av hallucinationer
• Förstärkning av bias och överväganden gällande rättvisa
• Mekanismer för faktakontroll och källverifiering
• Validering av innehåll och integration av mänsklig översyn

LLM10: Obegränsad resursanvändning

• Utmatning av resurser och nedtidsattacker (DoS)
• Strategier för hastighetsbegränsning och resurshantering
• Kostnadsoptimering och budgetkontroller
• Prestandaövervakning och varningssystem

Praktisk övning: Byggande av en säker RAG-pipeline med skydd för vektordatabaser och upptäckt av hallucinationer

Modul 6: Säkerhet i Agentic AI (2 timmar)

Lärandemål:

• Förstå de unika säkerhetsutmaningarna med autonoma AI-agenter
• Tillämpa OWASP Agentic AI-taxinomin på praktiska system
• Implementera säkerhetskontroller för multiagent-miljöer

Ämnen som behandlas:

• Introduktion till Agentic AI och autonoma system
• OWASP Agentic AI Hottaxinomi: Agentdesign, Minne, Planering, Verktygsanvändning, Deployment
• Säkerhet och samordningsrisker i multiagent-system
• Felaktig användning av verktyg, giftning av minne och attacker på mål (goal hijacking)
• Säkrande av kommunikation och beslutsprocesser för agenter

Praktisk övning: Övning i hotmodellering med hjälp av OWASP Agentic AI-taxinomin på ett multiagent-baserat kundtjänstsystem

Modul 7: Implementation av OWASP Threat Defense COMPASS (2 timmar)

Lärandemål:

• Behärska den praktiska tillämpningen av Threat Defense COMPASS
• Integrera bedömning av AI-hot i organisationens säkerhetsprogram
• Utveckla omfattande strategier för AI-riskhantering

Ämnen som behandlas:

• Djupdykning i metodiken Threat Defense COMPASS
• Integrering av OODA-loopen: Observera, Orientera, Besluta, Agera
• Koppling av hot till MITRE ATT&CK och ATLAS-ramverk
• Byggande av instrumentpaneler för strategi kring AI-hotresilience
• Integration med befintliga säkerhetsverktyg och processer

Praktisk övning: Slutföra en hotbedömning med hjälp av COMPASS för ett deployment-scenario av Microsoft Copilot

Modul 8: Praktisk implementation och bästa praxis (2,5 timmar)

Lärandemål:

• Designa säkra AI-arkitekturer från grunden
• Implementera övervakning och händelsehantering för AI-system
• Skapas governance-ramverk för AI-säkerhet

Ämnen som behandlas:

Säker AI-utvecklingslivscykkel:

• Principer för safety-by-design i AI-applikationer
• Kodgranskning för LLM-integrationer
• Testmetoder och sårbarhetsskanning
• Säker deployment och förstärkning av produktionsmiljöer

Övervakning och detektion:

• AI-specifika loggnings- och övervakningskrav
• Anomaliupptäckt för AI-system
• Händelsehanteringsprocedurer för AI-säkerhetsincidenter
• Tekniker för forensik och utredning

Governance och compliance:

• Ramverk och policyer för AI-riskhantering
• Överväganden gällande regelbunden compliance (GDPR, AI-akter, m.fl.)
• Bedömning av third-party-risker för AI-leverantörer
• Säkerhetsmedvetenhetsträning för AI-utvecklingsteam

Praktisk övning: Designa en komplett säkerhetsarkitektur för en företagsinriktad AI-chattrobot, inklusive övervakning, governance och händelsehanteringsprocedurer

Modul 9: Verktyg och tekniker (1 timme)

Lärandemål:

• Utvärdera och implementera AI-säkerhetsverktyg
• Förstå det nuvarande landskapet av AI-säkerhetslösningar
• Bygga praktiska kapabiliteter för detektion och förebyggande

Ämnen som behandlas:

• Ekosystemet för AI-säkerhetsverktyg och leverantörslandskapet
• Öppen källkods-säkerhetsverktyg: Garak, PyRIT, Giskard
• Kommersiella lösningar för AI-säkerhet och övervakning
• Mönster för integration och deployment-strategier
• Kriterier för verktygsval och utvärderingsramverk

Praktisk övning: Demonstrering av AI-säkerhetstester och planering av implementation

Modul 10: Framtida trender och avslutning (1 timme)

Lärandemål:

• Förstå nya hot och framtida säkerhetsutmaningar
• Utveckla strategier för löpande lärande och förbättring
• Skapas handlingsplaner för organisationens AI-säkerhetsprogram

Ämnen som behandlas:

• Nya hot: Deepfakes, avancerad prompt injection, modellinversion
• Framtida utveckling och vägplan för OWASP GenAI-project
• Byggande av gemenskaper för AI-säkerhet och kunskapsdelning
• Löpande förbättring och integration av hotinformation

Övning i handlingsplanering: Utveckla en 90-dagars handlingsplan för att implementera OWASP GenAI-säkerhetspraktik i deltagarnas organisationer