Kom i kontakt

Kursplan

Modul 1 — Hur AI-applikationer bryts

Lab: inget — arkitekturgängong & diskussion

Ett utvecklares mentala modell av attackytan.

Ämnen:

  • LLM-, RAG- och agentarkitekturer från utvecklarens sida
  • request/response-cykeln för en AI-funktion
  • promptflöde: system-, utvecklare-, användar- och verktygsmeddelanden
  • var opålitlig data entryger (och återinträder) modellen
  • förtroendegränserna en utvecklare äger kontra dem som ärver
  • varför AI-anfall är semantiska, inte syntaktiska
  • koppla OWASP LLM Top 10 till koden du skriver

Nyckelinsikt: Varje plats där opålitlig text når modellen — eller modellutdata når din kod — är en gräns som du äger.

Modul 2 — Prompt-injektion för byggare

Lab: Lab 01 — 01-Prompt-Injection

AI:s "SQL-injektionsögonblick" — men du kan inte helt fly den.

Ämnen: 

  • direkt kontra indirekt prompt-injektion
  • dolda instruktioner i dokument, webbsidor, verktygsutdata
  • jailbreaks och rollförvirring
  • varför separation av instruktion/data är viktig
  • försvarande prompt-design (avgränsare, struktur, minimal auktoritet)
  • varför förebyggande bara är partiellt — design för inneslutning

Pågärkande: 

  • angrip din egen chattbot
  • kringgå ett naivt filter
  • strukturer om prompten för att krympa spridningsradien

Modul 3 — Att behandla modellutdata som opålitlig

Lab: Lab 02 — 02-Output-Handling

Buggklassen som utvecklare undervärderar mest.

Ämnen:

  • modellutdata som opålitlig indata till resten av appen
  • osäker hantering av utdata (LLM02): XSS, SSRF, kommando-/SQL-injektion i efterföljande processer
  • exekvera aldrig eval/exec/rendera rå modellutdata
  • strukturell utdata och schema-validering
  • kodifiering av utdata och whitelistar
  • säker rendering i web-/UI-sammanhang

Påverkande: 

  • hitta och åtgärda en sårbarhet för osäker hantering av utdata
  • tvinga fram ett JSON-schema på modellens svar

Modul 4 — Säkerhet för RAG

Lab: Lab 03 — 03-RAG-Security

En av de största nya attackytorna — och den är din att bygga.

Ämnen:

  • vectorsdatabas- och återhämtningshot
  • sanitisering vid inmatning
  • ursprung för dokument och förtroendebetyg
  • begränsning av återhämtning och metadataisolation
  • dolda instruktioner i åtkomstet innehåll (indirekt injektion)
  • datautläckning via återhämtning

Pågärkande: - skada en RAG-pipeline med ett maliciöst dokument – lägg till sanitisering vid inmatning och begränsning av återhämtning för att försvara det

Modul 5 — Säkerhet för Agenter & Verktyg

Lab: Lab 04 — 04-Agent-Safety

Där en bugg blir till en handling.

Ämnen:

  • överdriven agens (LLM06) och missbruk av verktyg
  • minsta rättigheter för agenter
  • verktygswhitelistar och argumentvalidering
  • godkännandegrindar och människa-i-loopen
  • sandboxning av verktygskörning
  • begränsade, kortlivade inloggningar för agenter
  • begränsa autonoma loopar och kedjor

Påverkande: 

  • lås in en agent med för höga behörigheter
  • lägg till en whitelist + godkännandegird för ett farligt verktyg

Modul 6 — Hemligheter, Identitet & Kostnad

Lab: Lab 05 — 05-Secrets-and-Cost

De operativa misstag som skadar snabbast.

Ämnen:

  • hantering av API-nycklar och hemligheter (aldrig i prompts, kod eller loggar)
  • autentisering och auktorisering per användare för AI-funktioner
  • fortsätt användaridentitet till verktyg och återhämtning
  • nektande av plånbok: obegränsad token-/kostnadsförbrukning
  • hastighetsbegränsningar, tokenbudgetar och timeouts
  • loggning utan att läcka hemligheter eller personuppgifter

Påverkande: 

  • ta hemligheterna ut från prompt-/kodvägen
  • lägg till hastighetsbegränsningar per användare och en token-/kostnadsbudget

Modul 7 — Bibliotek för Säkerhetsgrindar (Guardrails)

Lab: Lab 06 — 06-Guardrails

Köp vs. bygg för indata-/utdatasäkerhet.

Ämnen:

  • vad säkerhetsgrindramverk gör (och inte gör)
  • ingående säkerhetsgrindar: injektions-/PII-/ämnesklassificerare
  • utgående säkerhetsgrindar: validering, filtrering, verifiering av grounding
  • när en säkerhetsgrind är lämplig jämfört med ditt eget deterministiska kontroll
  • lager av säkerhetsgrindar med kontrollerna från tidigare moduler
  • prestanda, falska positive och felmodeller

Påverkande: 

  • lägg till ett lager för indata-/utdata-säkerhetsgrindar till en AI-funktion
  • mät vad den fångar och vad hon missar

Modul 8 — Rödra av din egen app

Lab: Lab 07 — 07-Red-Teaming

Leverera det som om en angripare redan har den.

Ämnen:

  • bygga ett missbruks-/testpaket för AI-funktioner
  • automatiserade prompt-injektion- och jailbreak-tester
  • regressionstestning av säkerhetsgrindar och policyer
  • köra AI-säkerhetskontroller i CI
  • kedjan för leverans av modeller och beroenden (ursprung, pinning)
  • en säkerhetskollist före leverans för AI-funktioner

Påverkande: 

  • skriva automatiska rödtränings-tester för en AI-funktion
  • koppla dem till en CI-kontroll

Modul 9 — Betygssättning av AI-säkerhet: Ramverket SAIS-100

Lab: inget — betygsövningsövning (använder Capstone-appen)

Gör allt du har byggt till ett upprepbarbart betyg.

Ämnen:

  • AI-säkerhetshexagonen: sex frågor istället för "är den säker?"
  • de sex betygsatta kategorierna (Data, Prompt, Agent, Supply Chain, Detection, Governance)
  • riktlinjen med 100 poäng och dess vägningar
  • dombandsvolymer och regeln för ensam kategori-överstyrning
  • Elephant Scale Secure AI Score (SAIS-100) som ett varumärkesat, omkörbart ramverk
  • betygssättning innan/efter härdning som en mätvärde

Påverkande: 

  • betyst Capstone-appen på 100-poängsskalan
  • nämna den enskilda förändring som höjer betygat mest

Nyckelinsikt: De tre högst vägtade kategorierna kopplar till de förtroendegränser en utvecklare äger — så betygat mäter exakt vad denna kurs lärde ut.

Capstone

Deltagarna härdar en avsiktligt sårbar AI-applikation i slutet av kedjan.

Börjarappen innehåller:

  • en injicerbar prompt
  • osäker hantering av utdata
  • en ospecificerad RAG-pipeline
  • en agent med för höga behörigheter
  • hemligheter i promptvägen
  • inga kostnadsbegränsningar

Deltagarna tillämpar kursen:

  • omstrukturerar prompts för inneslutning
  • validerar och kodifierar modellutdata
  • saniterar och specificerar återhämtning
  • tillämpar minsta rättigheter och godkännandegirndar på agenten
  • flyttar hemligheter ut och lägger till kostnad-/hastighetsbegränsningar
  • lägger till säkerhetsgrindar och automatiska rödtränings-tester

Leverans: en härdad app plus en kort självutvärdering av OWASP LLM Top 10.

Kartläggning mellan modul och labb

Labbarna körs i ordning, vilket följer modulsordningen. Kursen har 9 moduler och 7 labyrinter: Modul 1 är en arkitekturgängong/diskussion och Modul 9 är en betygsövningsövning, så varken har sin egen labbkatalog.

  • Labb 01 - 01-Prompt-Injection: Angrip din chattbot & designa för inneslutning (Modul 2)
  • Labb 02 - 02-Output-Handling: Åtgärda en bugg för osäker hantering av utdata (Modul 3)
  • Labb 03 - 03-RAG-Security: Skada sedan försvara en RAG-pipeline (Modul 4)
  • Labb 04 - 04-Agent-Safety: Lås in en agent med för höga behörigheter (Modul 5)
  • Labb 05 - 05-Secrets-and-Cost: Säkra nycklar + lägg till kostnadsskydd (Modul 6)
  • Labb 06 - 06-Guardrails: Lägg till ett lager för indata-/utdatasäkerhetsgrindar (Modul 7)
  • Labb 07 - 07-Red-Teaming: Automatiska rödtränings-tester i CI (Modul 8)

Modul 1 (Hur AI-applikationer bryts) har inget labb — det körs som en arkitekturgängong och diskussion. Modul 9 (Betygssättning av AI-säkerhet) har ingen labyrkatalog — den körs som en betygsövningsövning mot Capstone-appen.

Krav

  • Kunskapsnivå: Medel.
  • Deltagarna bör känna sig bekväma med: att bygga och konsumera REST-API:er, ett skriptspråk (labbar använder Python), grundläggande applikationsautentisering, git och CLI.
  • Ingen bakgrund inom maskininlärning krävs — detta är en kurs i applikationssäkerhet för de som bygger med LLMs, inte för de som tränar dem.

Målgrupp

  • Mjukvaru- / bakgrundsentwicklare som bygger LLM-funktioner
  • Fullstack- och API-utvecklare
  • AI/ML-applikationsingenjörer
  • Plattformsover ingenjörer som levererar kopiloter och agenter
  • Teknikchefer och seniora ingenjörer som ansvarar för AI-funktioner
 21 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (2)

Kommande Kurser

Relaterade Kategorier