Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Introduktion till LLMOps
- LLMOps vs MLOps: unika utmaningar med att driva LLM:er
- LLM-applikationens livscykel: prompt, utvärdera, distribuera, övervaka
- Kontrolllista för produktionsberedskap för GenAI-applikationer
Prompt-hantering och versionering
- System för prompt-mallning och variablering
- Semantisk versionering av prompts med automatiserad regressions testning
- Prompt-register och samarbetsarbetsytor
Skalbar LLM-utvärdering
- Utvärderingsdimensioner: noggrannhet, relevans, säkerhet, förankring
- Mätetal baserade på "LLM som bedömare" och humana utvärderingspipelines
- Automatiserade utvärderingsramverk: RAGAS, DeepEval och egna värderare
- Kvalitetsgränser i CI/CD för LLM-leveranser
Säkerhetsbegränsningar och innehållsstyrning
- Inmatnings- och utmatningsbegränsningar: NeMo Guardrails och Guardrails AI
- Detektion av känslig information, toxicitetsfiltrering och ämnesgränser
- Försvarsstrategier mot jailbreak och prompt-injection
- Rödträngning av LLM-applikationer för säkerhetsgaranti
LLM-observabilitet och övervakning
- Telemetri: tokenanvändning, latens, kostnad och kvalitetsmätetal
- Detektion av drift i LLM-utdata och inbäddningsutrymmen
- Spårning på sessionsnivå för flerstegsagent-samtal
- Instrumentpaneler och varselhantering med LangSmith, Arize och OpenTelemetry
AI Gateway och Modellorchestrering
- Styrning över flera leverantörer med LiteLLM och Portkey
- Fallback-strategier, återförsökslogik och kretsbrytare
- Kostnadsmedveten modellval och lastbalansering
- Hastighetsbegränsning, kvotstyrning och hantering av API-nycklar
Prestandaoptimering
- Semantisk cachelösning med vektorlager och exakt träff-strategier
- Uppnåendet av strukturerad utdata via begränsad dekoding
- Mönster för batchbehandling, strömning och konkurrens
- Latensoptimering över olika modellleverantörer
Styrning, efterlevnad och granskning
- LLM-granskningsloggar: prompt-loggar, svarslogg och beslutsursprung
- Dataresidens- och integritetsaspekter för LLM-API:er
- Policysomkodning för LLM-användning inom organisationen
- Bygga ett internt spelbok för LLM-operationalisering
Krav
- Erfarenhet av att bygga eller integrera LLM-drivna applikationer.
- Kunskap om Python och REST-API:er.
- Grundläggande förståelse för begreppen prompt-engineering.
Målgrupp
- ML-ingenjörer och MLOps-aktörer som övergår till LLM-operationalisering.
- Plattformstekniker ansvariga för LLM-infrastruktur.
- Tekniska ledare som hanterar produktionen av GenAI-leveranser.
14 Timmar
Vittnesmål (2)
användning av effektiva och lämpliga prompts
Marses Pacaldo
Kurs - Generative AI and Prompt Engineering for Corporate Professionals
Maskintolkat
Interaktiva stilen, övningarna
Tamas Tutuntzisz
Kurs - Introduction to Prompt Engineering
Maskintolkat