Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 14 timmar
Kursplan
Förberedelse av maskininlärningsmodeller för implementering
- Packning av modeller med Docker
- Export av modeller från TensorFlow och PyTorch
- Överväganden kring versionering och lagring
Modelservering i Kubernetes
- Överblick av inferensserver
- Implementering av TensorFlow Serving och TorchServe
- Upprättande av modeländpunkter
Optimeringstekniker för inferens
- Batcheringsstrategier
- Hantering av samtidiga begäranden
- Tuning av latens och genomsats
Automatisk skalning av ML-arbetsbelastningar
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-allokering och resursmanagement
- Konfiguration av GPU-noder
- Överblick över NVIDIA device plugin
- Resursbegäranden och gränser för ML-arbetsbelastningar
Strategier för modellrullning och utgivning
- Blå/grön deployments
- Kanarrollutslagsmönster
- A/B-testning för utvärdering av modeller
Övervakning och observerbarhet för ML i produktion
- Mätningar för inferensarbetsbelastningar
- Praktiker för loggning och spårning
- Instrumentpaneler och alertning
Överväganden kring säkerhet och tillförlitlighet
- Säkrande av modeländpunkter
- Nätverkspolicyer och åtkomstkontroll
- Säkerställande av hög tillgänglighet
Sammanfattning och nästa steg
Krav
- Förståelse för flöden för kontaineriserade appar
- Erfarenhet av maskininlärningsmodeller baserade på Python
- Kunskaper i grundläggande Kubernetes-koncept
Targetgrupp
- ML-ingenjörer
- DevOps-ingenjörer
- Plattformstekniska team
Vittnesmål (1)
Jag uppskattar Kubernetes-delen av utbildningen, eftersom jag hade några uppgifter relaterade till K8s-poddar och portar, och det var trevligt att få en bättre förståelse nu. Tack!
Laura Miron - Betfair
Kurs - Docker and Kubernetes
Maskintolkat