Kom i kontakt
 Varaktighet 35 timmar

Kursplan

Inledning och diagnostiska grunder

  • Översikt över felmoder i LLM-system och vanliga Ollama-specifika problem
  • Etablering av reproducerbara experiment och kontrollerade miljöer
  • Felsökningssats: lokala loggar, fångst av begäranden/svar och sandlådor

Reproduktion och isolering av fel

  • Tekniker för att skapa minimala misslyckade exempel och frön
  • Stateful vs stateless interaktioner: isolering av sammanhangsrelaterade buggar
  • Determinism, slumpmässighet och kontroll av icke-deterministiskt beteende

Beteendevärdering och metrik

  • Kvantitativa metrik: noggrannhet, ROUGE/BLEU-variationer, kalibrering och perplexity-proxy
  • Kvalitativa utvärderingar: mänsklig bedömning (human-in-the-loop) och design av bedömningsgrunder
  • Uppgiftsspecifika trovärdighetskontroller och acceptanskriterier

Automatiserad testning och regression

  • Enhetstester för prompts och komponenter, scenariotester och slutpunkts-till-slutpunktstester
  • Skapande av regressionstester och baslinjer med exemplar
  • CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsportar

Observability och övervakning

  • Strukturerad loggning, distribuerade spårar och korrelations-ID:er
  • Centrala operationella metrik: latens, tokenanvändning, felrates och kvalitetssignaler
  • Alertningar, instrumentpaneler och SLI/SLO för tjänster stödda av modeller

Avancerad analys av rotorsaker

  • Spårning genom grafade prompts, verktygsanrop och flersvårtsflöden
  • Jämförande A/B-diagnostik och ablationsstudier
  • Datahärkomst, datasetfelsökning och hantering av fel orsakade av datasets

Säkerhet, robusthet och åtgärdsstrategier

  • Mitigationer: filtrering, förankring, återhämtningstillägg och promptstrukturering
  • Tillbakahämtning, kanar- och fasad distributionsmönster för modelluppdateringar
  • Autopsier, läranden och loopar för kontinuerlig förbättring

Sammanfattning och nästa steg

Krav

  • Solid erfarenhet av att bygga och distribuera LLM-applikationer
  • Kännedom till Ollama-arbetsflöden och modellvärdskap
  • Trygghet med Python, Docker och grundläggande observability-verktyg

Målgrupp

  • AI-ingenjörer
  • ML Ops-specialister
  • QA-team ansvariga för produktionsmiljöer för LLM-system

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier