Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Introduktion och diagnostiska grundläggande principper
- Översikt över felmodi i LLM-system och vanliga Ollama-specifika problem
- Upprätta reproducerbara experiment och kontrollerade miljöer
- Felavhjälpningsverktyg: lokala loggar, förfrågan/svarsinsamlingar och sandlådor
Återskapa och isolera fel
- Tekniker för att skapa minimala felande exempel och frön
- Statiska vs statlösa interaktioner: isolering av sammanhangsrelaterade buggar
- Determinism, slumpmässighet och kontroll av icke-deterministiskt beteende
Beteendebedömning och mätvärden
- Kvantitativa mätvärden: noggrannhet, ROUGE/BLEU-varianter, kalibrering och förvirringsproxies
- Kvalitativa bedömningar: human-in-the-loop-betygsättning och rubrikdesign
- Uppgiftsspecifika trohetstester och acceptanskriterier
Automatiserad testning och regression
- Enhetstester för prompts och komponenter, scenariotester och slut-till-slut-tester
- Skapa regressionspaket och guldstandardbaslinjer
- CI/CD-integration för Ollama-modelluppdateringar och automatiserade valideringsgrindar
Övervakning och övervakning
- Strukturerad loggning, fördelade spår och korrelations-ID
- Viktiga operativa mätvärden: latens, tokenanvändning, felhastigheter och kvalitetssignaler
- Larm, instrumentpaneler och SLIs/SLOs för modellunderbyggda tjänster
Avancerad rotorsaksanalys
- Spårning genom graferade prompts, verktygsanrop och flervägsflöden
- Jämförande A/B-diagnos och borttagningsstudier
- Dataproveniens, datasetdebugging och åtgärd av datasetinducerade fel
Säkerhet, robusthet och åtgärdsstrategier
- Minskningar: filtrering, grundläggande, hämtning och promptbyggande
- Återställning, canary och fasad utgivningsmönster för modelluppdateringar
- Post-mortems, lärorika lektioner och kontinuerliga förbättringsloopar
Sammanfattning och nästa steg
Krav
- Stort erfarenhet av att bygga och distribuera LLM-applikationer
- Kännedom om Ollama arbetsflöden och modellvärd
- Komfort med Python, Docker och grundläggande observabilitetsverktyg
Målgrupp
- AI-ingenjörer
- ML Ops-professionella
- QA-team ansvariga för produktions-LLM-system
35 timmar