Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 35 timmar
Kursplan
Introduktion och diagnostiska grunder
- Översikt över felmoder i LLM-system och vanliga Ollama-specifika problem
- Att upprätta reproducerbara experiment och kontrollerade miljöer
- Felsökningsverktyg: lokala loggar, fångst av anfrågningar/svar och sandbox-miljöer
Att reproducera och isolera fel
- Metoder för att skapa minsta tänkbara felfall och frödata
- Tillståndsberoende vs. tillståndslösa interaktioner: isolera sammanhangsrelaterade buggar
- Determinism, slumpmässighet och styrning av icke-deterministiskt beteende
Beteendeutvärdering och metrik
- Kvantitativa metrik: noggrannhet, ROUGE/BLEU-varianter, kalibrering och perplexity-proxy
- Kvalitativa utvärderingar: mänsklig poängsättning i loop och design av bedömningskriterier
- Uppgiftsspecifika noggrannhetskontroller och acceptanskriterier
Automatiserad testning och regression
- Enhetstester för prompts och komponenter, scenariotester och änd-to-änd-tester
- Att skapa regressionssviter och baslinjer för gyllene exempel
- CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsgränser
Observabilitet och övervakning
- Strukturerad loggning, distribuerade spår och korrelations-ID:n
- Viktiga operativa metrik: latens, tokenanvändning, felhastighet och kvalitetssignaler
- Alertning, instrumentpaneler och SLI/SLO för modellbaserade tjänster
Avancerad analys av grundorsaker
- Spara genom grafade prompts, verktygsanrop och flervändsflöden
- Jämförande A/B-diagnostik och ablationsstudier
- Dataurpsring, felsökning av datasamlingar och hantering av fel orsakade av datasamlingar
Säkerhet, robusthet och åtgärdsstrategier
- Mindranden: filtrering, förankring, retrieval-augmentation och prompt-scaffolding
- Återställning, canary-releas och stegvis rullningsmönster för modelluppdateringar
- After-action-reviews, lärorika erfarenheter och kontinuerliga förbättringssyften
Sammanfattning och nästa steg
Krav
- Solid erfarenhet av att bygga och implementera LLM-applikationer
- Kännedom om Ollama-flöden och modellhosting
- Behärskning av Python, Docker och grundläggande observabilitetsverktyg
Målgrupp
- AI-ingenjörer
- ML Ops-proffs
- QA-team ansvariga för produktionsmiljöer med LLM-system