Kursplan
Dag 1: Grundläggande och Core-hot
Modul 1: Introduktion till OWASP GenAI Security Project (1 timme)
Läringsmål:
- Förstå utvecklingen från OWASP Top 10 till GenAI-specifika säkerhetsutmaningar
- Utforska OWASP GenAI Security Project-ekosystemet och resurser
- Identifiera de viktigaste skillnaderna mellan traditionell tillämpningssäkerhet och AI-säkerhet
Teman:
- Översikt över OWASP GenAI Security Projects mission och omfattning
- Introduktion till Threat Defense COMPASS-ramverket
- Förstå AI-säkerhetsterrängen och regeringskrav
- AI-angreppsområden vs traditionella webbtillämpningsvulnerabiliteter
Praktisk övning: Sätta upp OWASP Threat Defense COMPASS-verktyget och utföra initial hotbedömning
Modul 2: OWASP Top 10 för LLMs - Del 1 (2.5 timmar)
Läringsmål:
- Mastera de fem första kritiska LLM-vulnerabiliteter
- Förstå anfallsvägar och exploitnings tekniker
- Tillämpa praktiska mildringstaktik
Teman:
LLM01: Prompt Injection
- Direkta och indirekta prompt injection-techniker
- Dolda instruktionsattacker och cross-prompt kontaminering
- Praktiska exempel: Jailbreaking chatbots och att undan komma säkerhetsåtgärder
- Mildringsstrategier: Inmatningsrensnings, promptfiltrering, differentiell integritet
LLM02: Sensitive Information Disclosure
- Träningsdataextraction och systempromptlekage
- Modellbeteendeanalys för exponering av känslig information
- Sekretessimplicer och regeringskrav
- Mildring: Utmatningsfiltrering, åtkomstkontroller, dataanonymisering
LLM03: Supply Chain Vulnerabilities
- Tredjepartsmodellberoenden och pluginsäkerhet
- Komprometterade träningsdatauppsättningar och modellförgiftning
- Leverantörsmötesbedömning för AI-komponenter
- Säker modelldistribution och verifieringspraktik
Praktisk övning: Praktisk labb för att demonstrera prompt injection-attacker mot sårbara LLM-program och implementering av försvarsåtgärder
Modul 3: OWASP Top 10 för LLMs - Del 2 (2 timmar)
Teman:
LLM04: Data and Model Poisoning
- Träningsdatamanipulationsmetoder
- Modellbeteendemodifikation genom förgiftade inmatningar
- Backdoor-attacker och dataintegritet verifiering
- Förebyggande: Datavalideringspipelines, provenance tracking
LLM05: Improper Output Handling
- Otrygga bearbetning av LLM-genererat innehåll
- Kodinjektion genom AI-generade utmatningar
- Cross-site scripting via AI-svar
- Utmatningsvaliderings- och rensningsramverk
Praktisk övning: Simulering av dataförgiftningsattacker och implementering av robusta utmatningsvalideringssystem
Modul 4: Avancerade LLM-hot (1.5 timmar)
Teman:
LLM06: Excessive Agency
- Oberoende beslutsfattandes risker och gränsoverträdelser
- Agentbehörighet och behörighetsledning
- Önskvärt systeminteraktion och privilegieuppskalning
- Implementering av försvarsbanor och mänsklig övervakningskontroll
LLM07: System Prompt Leakage
- Systeminstruktionsexponering svagheter
- Autentiseringsuppgifter och logikdisclosure genom prompts
- Angreppstekniker för att extrahera systemprompts
- Säkra systeminstruktioner och extern konfiguration
Praktisk övning: Design av säkra agentarkitekturer med lämpliga åtkomstkontroller och övervakning
Dag 2: Avancerade Hot och Implementering
Modul 5: Nyttande AI-hot (2 timmar)
Läringsmål:
- Förstå framgångsrika AI-säkerhetshot
- Implementera avancerade detektions- och förebyggande tekniker
- Designa modersamma AI-system mot sofistikerade angrepp
Teman:
LLM08: Vector and Embedding Weaknesses
- RAG-systemsvulnerabiliteter och vektordatabas-säkerhet
- Begravning förgiftning och likhetsmanipulationsattacker
- Ovänska exempel i semantisk sökning
- Säkra vektorspar och implementering av anomalidetektering
LLM09: Misinformation and Model Reliability
- Hallucinationsdetektion och mildring
- Biasförsämrings- och rättvisare överväganden
- Faktkontroll och källaverifikationssystem
- Innehållsvalidering och integrering av mänsklig övervakning
LLM10: Unbounded Consumption
- Resursutmattning och neka av service-attacker
- Rate limiting och resurshanteringstrategier
- Kostnadsanpassning och budgetkontroller
- Prestationsövervakning och aviseringssystem
Praktisk övning: Bygga ett säkert RAG-pipelined med vektordatabasbeskydd och hallucinationsdetektion
Modul 6: Agenta AI-säkerhet (2 timmar)
Läringsmål:
- Förstå de unika säkerhetsutmaningar för oberoende AI-agenter
- Använda OWASP Agenta AI-taxonomi för verkliga system
- Implementera säkerhetskontroller för fleragentmiljöer
Teman:
- Introduktion till Agenta AI och oberoende system
- OWASP Agenta AI Hot Taxonomy: Agent Design, Memory, Planning, Tool Use, Deployment
- Fleragentsystemssäkerhet och koordineringsrisker
- Verktigmisbruk, minnesförgiftning och målhjacking-attacker
- Säkra agentkommunikation och beslutsfattandeprocesser
Praktisk övning: Hotmodelleringsexercis med OWASP Agenta AI-taxonomi för ett fleragent kundtjänstsystem
Modul 7: OWASP Threat Defense COMPASS Implementation (2 timmar)
Läringsmål:
- Mastera praktisk tillämpning av Threat Defense COMPASS
- Integrera AI-hotbedömning i organisations säkerhetsprogram
- Utveckla omfattande AI-riskhanteringsstrategier
Teman:
- Djupdykning i Threat Defense COMPASS-metodik
- OODA Loop-integrering: Observera, Vänd dig mot, Bestäm, Handla
- Mappning av hot till MITRE ATT&CK- och ATLAS-ramverk
- Bygg AI Hotresilience-strategidashboards
- Integration med existerande säkerhetstjänster och processer
Praktisk övning: Slutför hotbedömning med COMPASS för ett Microsoft Copilot-distributions-scenario
Modul 8: Praktisk Implementation och Bästa Metoder (2.5 timmar)
Läringsmål:
- Designa säkra AI-arkitekturer från grunden
- Implementera övervakning och incidenthantering för AI-system
- Skapa styrningsramar för AI-säkerhet
Teman:
Säker AI-utvecklingslivscykel:
- Säkerhetsprinciper för design av AI-program
- Kodgranskningsmetoder för LLM-integrationer
- Testmetodik och sårbarhetsscanning
- Distribueringsäkerhet och produktionshårdning
Övervakning och Detektion:
- AI-specifika loggnings- och övervakningskrav
- Anomalidetektering för AI-system
- Incidenthanteringsprocedurer för AI-säkerhetsincidenter
- Forensiska och undersökningsmetoder
Styrning och Regelverk:
- AI-riskhanteringsramar och policys
- Regulatorisk överensstämmelse (GDPR, AI Act, etc.)
- Leverantörsmötesbedömning för AI-leverantörer
- Säkerhetsträning för AI-utvecklingsteam
Praktisk övning: Designa en komplett säkerhetsarkitektur för ett företags AI-chatbot, inklusive övervakning, styrningsramar och incidenthanteringsprocedurer
Modul 9: Verktyg och Tekniker (1 timme)
Läringsmål:
- Utvärdera och implementera AI-säkerhetsverktyg
- Förstå den aktuella AI-säkerhetsteknikernas landskap
- Bygg praktiska detektions- och förebyggande förmågor
Teman:
- AI-säkerhetsteknikernas ekosystem och leverantörslandskap
- Open-source säkerhetsverktyg: Garak, PyRIT, Giskard
- Kommerciella lösningar för AI-säkerhet och övervakning
- Integreringsmönster och distributionsstrategier
- Verktygsväljekriterier och utvärderingsramar
Praktisk övning: Praktisk demonstration av AI-säkerhetstestverktyg och implementeringsplanering
Modul 10: Framtidsutvecklingar och Avslut (1 timme)
Läringsmål:
- Förstå framgångsrika hot och framtida säkerhetsutmaningar
- Utveckla kontinuerliga lärande- och förbättringsstrategier
- Skapa åtgärdsplaner för organisationers AI-säkerhetsprogram
Teman:
- Framgångsrika hot: Deepfakes, avancerad prompt injection, modellinversion
- Framtida utvecklingar inom OWASP GenAI-projekt och vägledning
- Bygg AI-säkerhetsgemenskaper och kunskapsdelning
- Kontinuerlig förbättring och hotintelligensintegration
Åtgärdsgivande övning: Utveckla en 90-dagars åtgärdsplan för att implementera OWASP GenAI-säkerhetspraktiker i deltagarnas organisationer
Krav
- Allmänt förståelse av säkerhetsprinciper för webbtillämpningar
- Grundläggande bekantskap med AI/ML-koncept
- Erfarenhet av säkerhetsramar eller riskbedömningsmetodik är önskvärt
Målgrupp
- Cybersäkerhetsprofesionella
- AI-utvecklare
- Systemarkitekter
- Compliance-officerar
- Säkerhetspraktiker
Vittnesmål (1)
Jag tyckte verkligen om att lära mig om AI-anfall och de verktyg som finns för att börja praktisera och aktivt använda inom säkerhetstestning. Jag tog med mig mycket kunskap som jag inte hade i början, och kursen uppfyllde mina förväntningar. Min favoritdel från utbildningen var Comet Browser, och jag var verkligen imponerad över vad den kunde göra. Det kommer definitivt att vara något jag undersöker mer. Sammanfattningsvis var det en fantastisk kurs, och jag njöt av att lära mig alla OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskintolkat
