Kursplan
Förberedande maskininlärningsmodeller för distribution
- Förpacka modeller med Docker
- Exportera modeller från TensorFlow och PyTorch
- Versionshantering och lagringsaspekter
Modellleverans på Kubernetes
- Översikt över inferensservrar
- Distribution av TensorFlow Serving och TorchServe
- Inställning av modelländpunkter
Optimeringstekniker för inferens
- Batchningsstrategier
- Handläggning av parallella förfrågningar
- Fördröjnings- och genomsnittsjustering
Horisontell skalning av ML-arbetbelastningar
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-försörjning och resurshantering
- Konfiguration av GPU-noder
- Översikt över NVIDIA-enhetsplugin
- Resursförfrågningar och begränsningar för ML-arbetbelastningar
Modellutveckling och distributionsstrategier
- Blå/grön distribution
- Canary-distributionsmönster
- A/B-testning för modellevaluation
Övervakning och observabilitet för ML i produktion
- Metrik för inferensarbetsbelastningar
- Loggnings- och spårningsmetoder
- Dashboardar och alarmering
Säkerhets- och tillförlitlighetsaspekter
- Säkra modelländpunkter
- Nätverksregler och åtkomstkontroll
- Säkerställa hög tillgänglighet
Sammanfattning och nästa steg
Krav
- Förståelse för kontaineriserade applikationsflöden
- Erfarenhet av Python-baserade maskininlärningsmodeller
- Kunskap om grundläggande Kubernetes-principer
Målgrupp
- ML-ingenjörer
- DevOps-ingenjörer
- Platform engineering-team
Vittnesmål (4)
grundläggande förståelse av containrar och Kubernetes samt hur de samverkar funktioner hos OpenShift-plattformen
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maskintolkat
Om mikrotjänster och hur man underhåller Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Maskintolkat
Hur tränaren effektivt överför kunskap
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maskintolkat
Kunskapen och utbytet med Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maskintolkat