OWASP GenAI-säkerhet Träningskurs

Dag 1: Grundvalar och kärnhot

Modul 1: Introduktion till OWASP GenAI Security Project (1 timme)

Läromål:

• Förstå utvecklingen från OWASP Top 10 till AI-specifika säkerhetsutmaningar.
• Eksplorera ekosystemet och resurserna inom OWASP GenAI Security Project.
• Identifiera de centrala skillnaderna mellan traditionell applikationssäkerhet och AI-säkerhet.

Teman som behandlas:

• Översikt över mission och omfång för OWASP GenAI Security Project.
• Introduktion till Threat Defense COMPASS-ramverket.
• Förstå AI:s säkerhetslandskap och regulatoriska krav.
• Jämförelse mellan AI:s attackytan och traditionella sårbarheter för webbappar.

Praktisk övning: Sätta upp OWASP Threat Defense COMPASS-verktyget och utföra en initial hotbedömning.

Modul 2: OWASP Top 10 för LLM - Del 1 (2,5 timmar)

Läromål:

• Härva de fem kritiska sårbarheterna för LLM.
• Förstå attackvektorer och exploateringstekniker.
• Tillämpa praktiska mildringsstrategier.

Teman som behandlas:

LLM01: Prompt Injection (Inmatning av instruktioner)

• Tekniker för direkt och indirekt prompt injection.
• Dolda instruktionsattacker och kontaminering över flera prompts.
• Praktiska exempel: Jailbreaking av chattbotar och kringgående av säkerhetsåtgärder.
• Försvarsstrategier: Sanitization av indata, promptfiltrering, differentiel sekretess.

LLM02: Läckt känslig information

• Extrahering av träningsdata och systempromptläckage.
• Analys av modellbeteende för exponering av känslig information.
• Sekretessimplikationer och överväganden kring regulatorisk compliance.
• Mildring: Filtrering av utdata, åtkomstkontroller, anonymisering av data.

LLM03: Sårbarheter i leveranskedjan

• Beroenden till tredjepartsmodeller och säkerhet för plugins.
• Komprometterade träningsdataset och modellförgiftning (model poisoning).
• Bedömning av leverantörsrisk för AI-komponenter.
• Säker implementering och verifiering av modeller.

Praktisk övning: Hands-on-laboration som demonstrerar prompt injection-attacker mot sårbara LLM-applikationer samt implementering av försvarsåtgärder.

Modul 3: OWASP Top 10 för LLM - Del 2 (2 timmar)

Teman som behandlas:

LLM04: Förgiftning av data och modeller

• Tekniker för manipulering av träningsdata.
• Justerat modellbeteende genom förgiftade indata.
• Backdoor-attacker och verifiering av dataintegritet.
• Förebyggande: Datavalideringspipelines, spårning av ursprung (provenance tracking).

LLM05: Felaktig hantering av utdata

• Oskyddad bearbetning av AI-genererat innehåll.
• Kodinjicering via AI-genererade utdata.
• Cross-site scripting (XSS) via AI-svar.
• Ramverk för validering och sanitization av utdata.

Praktisk övning: Simulation av förgiftningsattacker och implementering av robusta mekanismer för validering av utdata.

Modul 4: Avancerade LLM-hot (1,5 timmar)

Teman som behandlas:

LLM06: Överdriven agens (Excessive Agency)

• Risker med autonomt beslutsfattande och gränsöverskridande handlingar.
• Agenstyrka och hantering av behörigheter.
• Oavsiktliga interaktioner med systemet och privilegieutvidgning (privilege escalation).
• Implementering av skyddsräcken (guardrails) och kontrollåtgärder för mänsklig översyn.

LLM07: Läckage av systemprompt

• Sårbarheter i exponeringen av systeminstruktioner.
• Läckage av autentiseringsuppgifter och logik genom prompts.
• Attacktekniker för att extrahera systempromptar.
• Säkra systeminstruktioner och extern konfiguration.

Praktisk övning: Utforma säkra agentarkitekturer med lämpliga åtkomstkontroller och övervakning.

Dag 2: Avancerade hot och implementering

Modul 5: Framväxande AI-hot (2 timmar)

Läromål:

• Förstå spetsens AI-säkerhetshot.
• Implementera avancerade detekterings- och förebyggandetekniker.
• Designa motståndskraftiga AI-system mot sofistikerade attacker.

Teman som behandlas:

LLM08: Svagheter i vektorer och embeddingar

• Sårbarheter för RAG-system (Retrieval-Augmented Generation) och säkerhet för vektordatabaser.
• Förgiftning av embeddingar och attacker för manipulation av liknande sökningar.
• Adversariella exempel inom semantisk sökning.
• Säkra vektorlager och implementera detektering av anomali.

LLM09: Vilseledande information och modellens tillförlitlighet

• Detektering och mildring av hallucinationer.
• Förstärkning av bias och överväganden kring rättvisa.
• Mekanismer för faktagranskning och verifiering av källor.
• Validering av innehåll och integration av mänsklig översyn.

LLM10: Ogränsat resursförbrukning

• Resursutmattning och denial-of-service-attacker (DoS).
• Strategier för hastighetsbegränsning (rate limiting) och resurshantering.
• Kostnadsoptimering och budgetkontroller.
• Prestandaövervakning och varningsystem.

Praktisk övning: Bygga en säker RAG-pipeline med skydd för vektordatabas och detektering av hallucinationer.

Modul 6: Säkerhet för Agentic AI (2 timmar)

Läromål:

• Förstå de unika säkerhetsutmaningarna med autonoma AI-agenter.
• Tillämpa OWASP:s taxonomy för Agentic AI på system i verkligheten.
• Implementera säkerhetskontroller för miljöer med flera agenter.

Teman som behandlas:

• Introduktion till Agentic AI och autonoma system.
• OWASP Threat Taxonomy för Agentic AI: Agent Design, Minne, Planering, Verktygsanvändning, Implementering.
• Säkerhet och koordineringsrisker i system med flera agenter.
• Attacker kopplade till felaktig verktygsanvändning, förgiftat minne och övertagande av mål (goal hijacking).
• Säkra agenters kommunikation och beslutsprocesser.

Praktisk övning: Hotmodellering med OWASP Taxonomy för Agentic AI på ett kundtjänstsystem med flera agenter.

Modul 7: Implementering av OWASP Threat Defense COMPASS (2 timmar)

Läromål:

• Mästra den praktiska tillämpningen av Threat Defense COMPASS.
• Integrera AI-hotbedömning i organisationens säkerhetsprogram.
• Utveckla omfattande strategier för hantering av AI-risker.

Teman som behandlas:

• Detaljerad genomgång av metodiken Threat Defense COMPASS.
• Integration av OODA-loopen: Observe, Orient, Decide, Act (Observera, Orientera, Besluta, Handla).
• Koppla hot till ramverken MITRE ATT&CK och ATLAS.
• Bygga dashboardar för strategier kring AI-hotresiliens.
• Integration med befintliga säkerhetsverktyg och processer.

Praktisk övning: Genomföra fullständig hotbedömning med COMPASS för ett scenario med en Microsoft Copilot-implementering.

Modul 8: Praktisk implementering och bästa praxis (2,5 timmar)

Läromål:

• Designa säkra AI-arkitekturer från grunden.
• Implementera övervakning och incidenthantering för AI-system.
• Skapa styrningsramverk för AI-säkerhet.

Teman som behandlas:

Säker livscykel för AI-utveckling:

• Principer om säkerhet från start (security-by-design) för AI-applikationer.
• Bestä-praxis för kodbearbetning av LLM-integrationer.
• Testmetodik och skanning av sårbarheter.
• Säker implementering och förstärkning av produktionsmiljöer.

Övervakning och detektering:

• Specifika krav på loggning och övervakning för AI.
• Detektering av anomali för AI-system.
• Incidenthanteringsrutiner för händelser inom AI-säkerhet.
• Telemetrik och undersökningstekniker (forensics).

Styrning och compliance:

• Ramverk och policyer för hantering av AI-risker.
• Överväganden kring regulatorisk compliance (GDPR, AI Act, etc.).
• Riskbedömning av tredje parts leverantörer för AI.
• Säkerhetsmedvetenhetsträning för utvecklingsteam inom AI.

Praktisk övning: Designa en komplett säkerhetsarkitektur för en företags-chattbot, inklusive övervakning, styrning och rutiner för incidenthantering.

Modul 9: Verktyg och teknik (1 timme)

Läromål:

• Värdera och implementera verktyg för AI-säkerhet.
• Förstå det nuvarande landskapet av lösningar för AI-säkerhet.
• Bygga praktiska förmågor för detektering och förebyggande.

Teman som behandlas:

• Ekosystemet av AI-säkerhetsverktyg och leverantörers landskap.
• Öppen källkod-verktyg: Garak, PyRIT, Giskard.
• Kommersiella lösningar för AI-säkerhet och övervakning.
• Mönster för integration och implementationsstrategier.
• Villkor för verktygsval och evalueringsramverk.

Praktisk övning: Hands-on-demonstration av AI-säkerhetstestningsverktyg och planering av implementation.

Modul 10: Framtida trender och sammanfattning (1 timme)

Läromål:

• Förstå framväxande hot och framtida säkerhetsutmaningar.
• Utveckla strategier för kontinuerlig inlärning och förbättring.
• Skapa handlingsplaner för organisationers AI-säkerhetsprogram.

Teman som behandlas:

• Framväxande hot: Deepfakes, avancerad prompt injection, model inversion (modellinversion).
• Utveckling och roadmap för framtida OWASP GenAI-project.
• Bygga gemenskaper för AI-säkerhet och dela kunskap.
• Kontinuerlig förbättring och integrering av hotunderrättelser.

Övning för handlingsplan: Utveckla en 90-dagars handlingsplan för att implementera OWASP GenAI-säkerhetspraxis i deltagarnas organisationer.