Kursplan
Förberedelse av maskininlärningsmodeller för implementering
- Packning av modeller med Docker
- Export av modeller från TensorFlow och PyTorch
- Överväganden kring versionering och lagring
Modelservering i Kubernetes
- Överblick av inferensserver
- Implementering av TensorFlow Serving och TorchServe
- Upprättande av modeländpunkter
Optimeringstekniker för inferens
- Batcheringsstrategier
- Hantering av samtidiga begäranden
- Tuning av latens och genomsats
Automatisk skalning av ML-arbetsbelastningar
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-allokering och resursmanagement
- Konfiguration av GPU-noder
- Överblick över NVIDIA device plugin
- Resursbegäranden och gränser för ML-arbetsbelastningar
Strategier för modellrullning och utgivning
- Blå/grön deployments
- Kanarrollutslagsmönster
- A/B-testning för utvärdering av modeller
Övervakning och observerbarhet för ML i produktion
- Mätningar för inferensarbetsbelastningar
- Praktiker för loggning och spårning
- Instrumentpaneler och alertning
Överväganden kring säkerhet och tillförlitlighet
- Säkrande av modeländpunkter
- Nätverkspolicyer och åtkomstkontroll
- Säkerställande av hög tillgänglighet
Sammanfattning och nästa steg
Krav
- Förståelse för flöden för kontaineriserade appar
- Erfarenhet av maskininlärningsmodeller baserade på Python
- Kunskaper i grundläggande Kubernetes-koncept
Targetgrupp
- ML-ingenjörer
- DevOps-ingenjörer
- Plattformstekniska team
Vittnesmål (4)
grundläggande förståelse av containrar och Kubernetes samt hur de samverkar funktioner hos OpenShift-plattformen
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maskintolkat
Om mikrotjänster och hur man underhåller Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Maskintolkat
Hur tränaren effektivt överför kunskap
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maskintolkat
Kunskapen och utbytet med Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maskintolkat