Kom i kontakt

Kursplan

Introduktion till LLMOps

  • LLMOps vs MLOps: unika utmaningar med att driva LLM:er
  • LLM-applikationens livscykel: prompt, utvärdera, distribuera, övervaka
  • Kontrolllista för produktionsberedskap för GenAI-applikationer

Prompt-hantering och versionering

  • System för prompt-mallning och variablering
  • Semantisk versionering av prompts med automatiserad regressions testning
  • Prompt-register och samarbetsarbetsytor

Skalbar LLM-utvärdering

  • Utvärderingsdimensioner: noggrannhet, relevans, säkerhet, förankring
  • Mätetal baserade på "LLM som bedömare" och humana utvärderingspipelines
  • Automatiserade utvärderingsramverk: RAGAS, DeepEval och egna värderare
  • Kvalitetsgränser i CI/CD för LLM-leveranser

Säkerhetsbegränsningar och innehållsstyrning

  • Inmatnings- och utmatningsbegränsningar: NeMo Guardrails och Guardrails AI
  • Detektion av känslig information, toxicitetsfiltrering och ämnesgränser
  • Försvarsstrategier mot jailbreak och prompt-injection
  • Rödträngning av LLM-applikationer för säkerhetsgaranti

LLM-observabilitet och övervakning

  • Telemetri: tokenanvändning, latens, kostnad och kvalitetsmätetal
  • Detektion av drift i LLM-utdata och inbäddningsutrymmen
  • Spårning på sessionsnivå för flerstegsagent-samtal
  • Instrumentpaneler och varselhantering med LangSmith, Arize och OpenTelemetry

AI Gateway och Modellorchestrering

  • Styrning över flera leverantörer med LiteLLM och Portkey
  • Fallback-strategier, återförsökslogik och kretsbrytare
  • Kostnadsmedveten modellval och lastbalansering
  • Hastighetsbegränsning, kvotstyrning och hantering av API-nycklar

Prestandaoptimering

  • Semantisk cachelösning med vektorlager och exakt träff-strategier
  • Uppnåendet av strukturerad utdata via begränsad dekoding
  • Mönster för batchbehandling, strömning och konkurrens
  • Latensoptimering över olika modellleverantörer

Styrning, efterlevnad och granskning

  • LLM-granskningsloggar: prompt-loggar, svarslogg och beslutsursprung
  • Dataresidens- och integritetsaspekter för LLM-API:er
  • Policysomkodning för LLM-användning inom organisationen
  • Bygga ett internt spelbok för LLM-operationalisering

Krav

  • Erfarenhet av att bygga eller integrera LLM-drivna applikationer.
  • Kunskap om Python och REST-API:er.
  • Grundläggande förståelse för begreppen prompt-engineering.

Målgrupp

  • ML-ingenjörer och MLOps-aktörer som övergår till LLM-operationalisering.
  • Plattformstekniker ansvariga för LLM-infrastruktur.
  • Tekniska ledare som hanterar produktionen av GenAI-leveranser.
 14 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (2)

Kommande Kurser

Relaterade Kategorier