Bygga säkra och ansvarfulla LLM-applikationer Träningskurs

Översikt över LLM-arkitektur och angreppsytan

• Hur LLM:er byggs, distribueras och nås via API:er
• Viktiga komponenter i LLM-applikationsstacken (t.ex. prompter, agenter, minne, API:er)
• Var och hur säkerhetsproblem uppstår i verkliga användningsfall

Promptinjektion och jailbreak-attacker

• Vad är promptinjektion och varför är det farligt
• Scenarier med direkt och indirekt promptinjektion
• Metoder för att kringgå säkerhetsfilter (jailbreaking)
• Detektions- och åtgärdsstrategier

Dataläckage och integritetsrisker

• Oavsiktlig exponering av data via svar
• Läckage av personuppgifter och missbruk av modellens minne
• Design av integritetsmedvetna prompter och retrieval-augmented generation (RAG)

Filtrering och skydd av LLM-utdata

• Använda Guardrails AI för innehållsfiltrering och validering
• Definiera utdatamallar och begränsningar
• Övervaka och logga osäkra utdataval

Mänsklig övervakning och arbetsflödesmetoder

• Var och när mänsklig övervakning bör införas
• Godkännandeköer, poängtrösklar och hantering av fallback
• Calibration av tillit och förklarbarhetens roll

Mönster för säker LLM-applikationsdesign

• Principen om minst behörighet och sandlådning för API-anrop och agenter
• Nedtoning av hastighet, throttling och detektion av missbruk
• Robust länkning med LangChain och isolering av prompter

Compliance, loggning och styrning

• Säkerställa spårbarhet av LLM-utdata
• Upprätthålla spårbarhet och kontroll av prompt/version
• Överensstämmelse med interna säkerhetspolicyer och regulatoriska krav

Sammanfattning och nästa steg