Kursplan
Förbereda maskininlärningsmodeller för distribution
- Paketering av modeller med Docker
- Exportera modeller från TensorFlow och PyTorch
- Versionering och lagringsoverväganden
Modellservering på Kubernetes
- Översikt över inferensservrar
- Distribuera TensorFlow Serving och TorchServe
- Konfigurera modellslutpunkter
Inferensoptimeringsmetoder
- Batchstrategier
- Hantering av samtidiga förfrågningar
- Latens- och dataflödestuning
Automatisk skalning av ML-arbetsbelastningar
- Horisontal Pod Autoscaler (HPA)
- Vertikal Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-provisionering och resurshantering
- Konfiguration av GPU-noder
- Översikt över NVIDIA enhetsplugin
- Resurstilldelningar och gränser för ML-arbetsbelastningar
Modelldrift och versionsstrategier
- Blue/green-distributioner
- Kanary-utvecklingsmönster
- A/B-testning för modellbedömning
Övervakning och synlighet för ML i produktionsmiljöer
- Mätvärden för inferensarbetsbelastningar
- Praxis för loggning och spårning
- Dashboards och aviseringar
Säkerhets- och tillförlitlighetsaspekter
- Säkra modellslutpunkter
- Nätverksprinciper och åtkomstkontroll
- Garantiera hög tillgänglighet
Sammanfattning och nästa steg
Krav
- Förståelse av arbetsflöden för behållariserade program
- Erfarenhet av Python-baserade maskininlärningsmodeller
- Kännedom om Kubernetes-grundläggande koncept
Målgrupp
- ML-ingenjörer
- DevOps-ingenjörer
- Plattformsteam för teknik
Vittnesmål (5)
Interaktivitet, ingen läsning av slidor hela dagen
Emilien Bavay - IRIS SA
Kurs - Kubernetes Advanced
Maskintolkat
han var tålmodig och förstod att vi försenade oss
Albertina - REGNOLOGY ROMANIA S.R.L.
Kurs - Deploying Kubernetes Applications with Helm
Maskintolkat
Träningen var mer praktisk
Siphokazi Biyana - Vodacom SA
Kurs - Kubernetes on AWS
Maskintolkat
Lära sig om Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Kurs - Kubernetes on Azure (AKS)
Maskintolkat
Det gav en god grund för Docker och Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Kurs - Docker (introducing Kubernetes)
Maskintolkat