Kom i kontakt
 Varaktighet 35 timmar

Kursplan

Introduktion och diagnostiska grunder

  • Översikt över felmoder i LLM-system och vanliga Ollama-specifika problem
  • Att upprätta reproducerbara experiment och kontrollerade miljöer
  • Felsökningsverktyg: lokala loggar, fångst av anfrågningar/svar och sandbox-miljöer

Att reproducera och isolera fel

  • Metoder för att skapa minsta tänkbara felfall och frödata
  • Tillståndsberoende vs. tillståndslösa interaktioner: isolera sammanhangsrelaterade buggar
  • Determinism, slumpmässighet och styrning av icke-deterministiskt beteende

Beteendeutvärdering och metrik

  • Kvantitativa metrik: noggrannhet, ROUGE/BLEU-varianter, kalibrering och perplexity-proxy
  • Kvalitativa utvärderingar: mänsklig poängsättning i loop och design av bedömningskriterier
  • Uppgiftsspecifika noggrannhetskontroller och acceptanskriterier

Automatiserad testning och regression

  • Enhetstester för prompts och komponenter, scenariotester och änd-to-änd-tester
  • Att skapa regressionssviter och baslinjer för gyllene exempel
  • CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsgränser

Observabilitet och övervakning

  • Strukturerad loggning, distribuerade spår och korrelations-ID:n
  • Viktiga operativa metrik: latens, tokenanvändning, felhastighet och kvalitetssignaler
  • Alertning, instrumentpaneler och SLI/SLO för modellbaserade tjänster

Avancerad analys av grundorsaker

  • Spara genom grafade prompts, verktygsanrop och flervändsflöden
  • Jämförande A/B-diagnostik och ablationsstudier
  • Dataurpsring, felsökning av datasamlingar och hantering av fel orsakade av datasamlingar

Säkerhet, robusthet och åtgärdsstrategier

  • Mindranden: filtrering, förankring, retrieval-augmentation och prompt-scaffolding
  • Återställning, canary-releas och stegvis rullningsmönster för modelluppdateringar
  • After-action-reviews, lärorika erfarenheter och kontinuerliga förbättringssyften

Sammanfattning och nästa steg

Krav

  • Solid erfarenhet av att bygga och implementera LLM-applikationer
  • Kännedom om Ollama-flöden och modellhosting
  • Behärskning av Python, Docker och grundläggande observabilitetsverktyg

Målgrupp

  • AI-ingenjörer
  • ML Ops-proffs
  • QA-team ansvariga för produktionsmiljöer med LLM-system

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier