Kursplan
Modul 1 — Hur AI-applikationer bryts
Lab: inget — arkitekturgängong & diskussion
Ett utvecklares mentala modell av attackytan.
Ämnen:
- LLM-, RAG- och agentarkitekturer från utvecklarens sida
- request/response-cykeln för en AI-funktion
- promptflöde: system-, utvecklare-, användar- och verktygsmeddelanden
- var opålitlig data entryger (och återinträder) modellen
- förtroendegränserna en utvecklare äger kontra dem som ärver
- varför AI-anfall är semantiska, inte syntaktiska
- koppla OWASP LLM Top 10 till koden du skriver
Nyckelinsikt: Varje plats där opålitlig text når modellen — eller modellutdata når din kod — är en gräns som du äger.
Modul 2 — Prompt-injektion för byggare
Lab: Lab 01 — 01-Prompt-Injection
AI:s "SQL-injektionsögonblick" — men du kan inte helt fly den.
Ämnen:
- direkt kontra indirekt prompt-injektion
- dolda instruktioner i dokument, webbsidor, verktygsutdata
- jailbreaks och rollförvirring
- varför separation av instruktion/data är viktig
- försvarande prompt-design (avgränsare, struktur, minimal auktoritet)
- varför förebyggande bara är partiellt — design för inneslutning
Pågärkande:
- angrip din egen chattbot
- kringgå ett naivt filter
- strukturer om prompten för att krympa spridningsradien
Modul 3 — Att behandla modellutdata som opålitlig
Lab: Lab 02 — 02-Output-Handling
Buggklassen som utvecklare undervärderar mest.
Ämnen:
- modellutdata som opålitlig indata till resten av appen
- osäker hantering av utdata (LLM02): XSS, SSRF, kommando-/SQL-injektion i efterföljande processer
- exekvera aldrig eval/exec/rendera rå modellutdata
- strukturell utdata och schema-validering
- kodifiering av utdata och whitelistar
- säker rendering i web-/UI-sammanhang
Påverkande:
- hitta och åtgärda en sårbarhet för osäker hantering av utdata
- tvinga fram ett JSON-schema på modellens svar
Modul 4 — Säkerhet för RAG
Lab: Lab 03 — 03-RAG-Security
En av de största nya attackytorna — och den är din att bygga.
Ämnen:
- vectorsdatabas- och återhämtningshot
- sanitisering vid inmatning
- ursprung för dokument och förtroendebetyg
- begränsning av återhämtning och metadataisolation
- dolda instruktioner i åtkomstet innehåll (indirekt injektion)
- datautläckning via återhämtning
Pågärkande: - skada en RAG-pipeline med ett maliciöst dokument – lägg till sanitisering vid inmatning och begränsning av återhämtning för att försvara det
Modul 5 — Säkerhet för Agenter & Verktyg
Lab: Lab 04 — 04-Agent-Safety
Där en bugg blir till en handling.
Ämnen:
- överdriven agens (LLM06) och missbruk av verktyg
- minsta rättigheter för agenter
- verktygswhitelistar och argumentvalidering
- godkännandegrindar och människa-i-loopen
- sandboxning av verktygskörning
- begränsade, kortlivade inloggningar för agenter
- begränsa autonoma loopar och kedjor
Påverkande:
- lås in en agent med för höga behörigheter
- lägg till en whitelist + godkännandegird för ett farligt verktyg
Modul 6 — Hemligheter, Identitet & Kostnad
Lab: Lab 05 — 05-Secrets-and-Cost
De operativa misstag som skadar snabbast.
Ämnen:
- hantering av API-nycklar och hemligheter (aldrig i prompts, kod eller loggar)
- autentisering och auktorisering per användare för AI-funktioner
- fortsätt användaridentitet till verktyg och återhämtning
- nektande av plånbok: obegränsad token-/kostnadsförbrukning
- hastighetsbegränsningar, tokenbudgetar och timeouts
- loggning utan att läcka hemligheter eller personuppgifter
Påverkande:
- ta hemligheterna ut från prompt-/kodvägen
- lägg till hastighetsbegränsningar per användare och en token-/kostnadsbudget
Modul 7 — Bibliotek för Säkerhetsgrindar (Guardrails)
Lab: Lab 06 — 06-Guardrails
Köp vs. bygg för indata-/utdatasäkerhet.
Ämnen:
- vad säkerhetsgrindramverk gör (och inte gör)
- ingående säkerhetsgrindar: injektions-/PII-/ämnesklassificerare
- utgående säkerhetsgrindar: validering, filtrering, verifiering av grounding
- när en säkerhetsgrind är lämplig jämfört med ditt eget deterministiska kontroll
- lager av säkerhetsgrindar med kontrollerna från tidigare moduler
- prestanda, falska positive och felmodeller
Påverkande:
- lägg till ett lager för indata-/utdata-säkerhetsgrindar till en AI-funktion
- mät vad den fångar och vad hon missar
Modul 8 — Rödra av din egen app
Lab: Lab 07 — 07-Red-Teaming
Leverera det som om en angripare redan har den.
Ämnen:
- bygga ett missbruks-/testpaket för AI-funktioner
- automatiserade prompt-injektion- och jailbreak-tester
- regressionstestning av säkerhetsgrindar och policyer
- köra AI-säkerhetskontroller i CI
- kedjan för leverans av modeller och beroenden (ursprung, pinning)
- en säkerhetskollist före leverans för AI-funktioner
Påverkande:
- skriva automatiska rödtränings-tester för en AI-funktion
- koppla dem till en CI-kontroll
Modul 9 — Betygssättning av AI-säkerhet: Ramverket SAIS-100
Lab: inget — betygsövningsövning (använder Capstone-appen)
Gör allt du har byggt till ett upprepbarbart betyg.
Ämnen:
- AI-säkerhetshexagonen: sex frågor istället för "är den säker?"
- de sex betygsatta kategorierna (Data, Prompt, Agent, Supply Chain, Detection, Governance)
- riktlinjen med 100 poäng och dess vägningar
- dombandsvolymer och regeln för ensam kategori-överstyrning
- Elephant Scale Secure AI Score (SAIS-100) som ett varumärkesat, omkörbart ramverk
- betygssättning innan/efter härdning som en mätvärde
Påverkande:
- betyst Capstone-appen på 100-poängsskalan
- nämna den enskilda förändring som höjer betygat mest
Nyckelinsikt: De tre högst vägtade kategorierna kopplar till de förtroendegränser en utvecklare äger — så betygat mäter exakt vad denna kurs lärde ut.
Capstone
Deltagarna härdar en avsiktligt sårbar AI-applikation i slutet av kedjan.
Börjarappen innehåller:
- en injicerbar prompt
- osäker hantering av utdata
- en ospecificerad RAG-pipeline
- en agent med för höga behörigheter
- hemligheter i promptvägen
- inga kostnadsbegränsningar
Deltagarna tillämpar kursen:
- omstrukturerar prompts för inneslutning
- validerar och kodifierar modellutdata
- saniterar och specificerar återhämtning
- tillämpar minsta rättigheter och godkännandegirndar på agenten
- flyttar hemligheter ut och lägger till kostnad-/hastighetsbegränsningar
- lägger till säkerhetsgrindar och automatiska rödtränings-tester
Leverans: en härdad app plus en kort självutvärdering av OWASP LLM Top 10.
Kartläggning mellan modul och labb
Labbarna körs i ordning, vilket följer modulsordningen. Kursen har 9 moduler och 7 labyrinter: Modul 1 är en arkitekturgängong/diskussion och Modul 9 är en betygsövningsövning, så varken har sin egen labbkatalog.
- Labb 01 - 01-Prompt-Injection: Angrip din chattbot & designa för inneslutning (Modul 2)
- Labb 02 - 02-Output-Handling: Åtgärda en bugg för osäker hantering av utdata (Modul 3)
- Labb 03 - 03-RAG-Security: Skada sedan försvara en RAG-pipeline (Modul 4)
- Labb 04 - 04-Agent-Safety: Lås in en agent med för höga behörigheter (Modul 5)
- Labb 05 - 05-Secrets-and-Cost: Säkra nycklar + lägg till kostnadsskydd (Modul 6)
- Labb 06 - 06-Guardrails: Lägg till ett lager för indata-/utdatasäkerhetsgrindar (Modul 7)
- Labb 07 - 07-Red-Teaming: Automatiska rödtränings-tester i CI (Modul 8)
Modul 1 (Hur AI-applikationer bryts) har inget labb — det körs som en arkitekturgängong och diskussion. Modul 9 (Betygssättning av AI-säkerhet) har ingen labyrkatalog — den körs som en betygsövningsövning mot Capstone-appen.
Krav
- Kunskapsnivå: Medel.
- Deltagarna bör känna sig bekväma med: att bygga och konsumera REST-API:er, ett skriptspråk (labbar använder Python), grundläggande applikationsautentisering, git och CLI.
- Ingen bakgrund inom maskininlärning krävs — detta är en kurs i applikationssäkerhet för de som bygger med LLMs, inte för de som tränar dem.
Målgrupp
- Mjukvaru- / bakgrundsentwicklare som bygger LLM-funktioner
- Fullstack- och API-utvecklare
- AI/ML-applikationsingenjörer
- Plattformsover ingenjörer som levererar kopiloter och agenter
- Teknikchefer och seniora ingenjörer som ansvarar för AI-funktioner
Vittnesmål (2)
Jag tyckte verkligen om att lära mig om AI-anfall och de verktyg som finns för att börja praktisera och aktivt använda inom säkerhetstestning. Jag tog med mig mycket kunskap som jag inte hade i början, och kursen uppfyllde mina förväntningar. Min favoritdel från utbildningen var Comet Browser, och jag var verkligen imponerad över vad den kunde göra. Det kommer definitivt att vara något jag undersöker mer. Sammanfattningsvis var det en fantastisk kurs, och jag njöt av att lära mig alla OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskintolkat
Den professionella kunskapen och hur han presenterade den för oss
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maskintolkat