Kursplan

Introduktion och diagnostiska grundläggande principper

  • Översikt över felmodi i LLM-system och vanliga Ollama-specifika problem
  • Upprätta reproducerbara experiment och kontrollerade miljöer
  • Felavhjälpningsverktyg: lokala loggar, förfrågan/svarsinsamlingar och sandlådor

Återskapa och isolera fel

  • Tekniker för att skapa minimala felande exempel och frön
  • Statiska vs statlösa interaktioner: isolering av sammanhangsrelaterade buggar
  • Determinism, slumpmässighet och kontroll av icke-deterministiskt beteende

Beteendebedömning och mätvärden

  • Kvantitativa mätvärden: noggrannhet, ROUGE/BLEU-varianter, kalibrering och förvirringsproxies
  • Kvalitativa bedömningar: human-in-the-loop-betygsättning och rubrikdesign
  • Uppgiftsspecifika trohetstester och acceptanskriterier

Automatiserad testning och regression

  • Enhetstester för prompts och komponenter, scenariotester och slut-till-slut-tester
  • Skapa regressionspaket och guldstandardbaslinjer
  • CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsgrindar

Övervakning och övervakning

  • Strukturerad loggning, fördelade spår och korrelations-ID
  • Viktiga operativa mätvärden: latens, tokenanvändning, felhastigheter och kvalitetssignaler
  • Larm, instrumentpaneler och SLIs/SLOs för modellunderbyggda tjänster

Avancerad rotorsaksanalys

  • Spårning genom graferade prompts, verktygsanrop och flervägsflöden
  • Jämförande A/B-diagnos och borttagningsstudier
  • Dataproveniens, datasetdebugging och åtgärd av datasetinducerade fel

Säkerhet, robusthet och åtgärdsstrategier

  • Minskningar: filtrering, grundläggande, hämtning och promptbyggande
  • Återställning, canary och fasad utgivningsmönster för modelluppdateringar
  • Post-mortems, lärorika lektioner och kontinuerliga förbättringsloopar

Sammanfattning och nästa steg

Krav

  • Stort erfarenhet av att bygga och distribuera LLM-applikationer
  • Kännedom om Ollama arbetsflöden och modellvärd
  • Komfort med Python, Docker och grundläggande observabilitetsverktyg

Målgrupp

  • AI-ingenjörer
  • ML Ops-professionella
  • QA-team ansvariga för produktions-LLM-system
 35 timmar

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier