Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 35 timmar
Kursplan
Inledning och diagnostiska grunder
- Översikt över felmoder i LLM-system och vanliga Ollama-specifika problem
- Etablering av reproducerbara experiment och kontrollerade miljöer
- Felsökningssats: lokala loggar, fångst av begäranden/svar och sandlådor
Reproduktion och isolering av fel
- Tekniker för att skapa minimala misslyckade exempel och frön
- Stateful vs stateless interaktioner: isolering av sammanhangsrelaterade buggar
- Determinism, slumpmässighet och kontroll av icke-deterministiskt beteende
Beteendevärdering och metrik
- Kvantitativa metrik: noggrannhet, ROUGE/BLEU-variationer, kalibrering och perplexity-proxy
- Kvalitativa utvärderingar: mänsklig bedömning (human-in-the-loop) och design av bedömningsgrunder
- Uppgiftsspecifika trovärdighetskontroller och acceptanskriterier
Automatiserad testning och regression
- Enhetstester för prompts och komponenter, scenariotester och slutpunkts-till-slutpunktstester
- Skapande av regressionstester och baslinjer med exemplar
- CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsportar
Observability och övervakning
- Strukturerad loggning, distribuerade spårar och korrelations-ID:er
- Centrala operationella metrik: latens, tokenanvändning, felrates och kvalitetssignaler
- Alertningar, instrumentpaneler och SLI/SLO för tjänster stödda av modeller
Avancerad analys av rotorsaker
- Spårning genom grafade prompts, verktygsanrop och flersvårtsflöden
- Jämförande A/B-diagnostik och ablationsstudier
- Datahärkomst, datasetfelsökning och hantering av fel orsakade av datasets
Säkerhet, robusthet och åtgärdsstrategier
- Mitigationer: filtrering, förankring, återhämtningstillägg och promptstrukturering
- Tillbakahämtning, kanar- och fasad distributionsmönster för modelluppdateringar
- Autopsier, läranden och loopar för kontinuerlig förbättring
Sammanfattning och nästa steg
Krav
- Solid erfarenhet av att bygga och distribuera LLM-applikationer
- Kännedom till Ollama-arbetsflöden och modellvärdskap
- Trygghet med Python, Docker och grundläggande observability-verktyg
Målgrupp
- AI-ingenjörer
- ML Ops-specialister
- QA-team ansvariga för produktionsmiljöer för LLM-system