Kursplan

Förbereda maskininlärningsmodeller för distribution

  • Paketering av modeller med Docker
  • Exportera modeller från TensorFlow och PyTorch
  • Versionering och lagringsoverväganden

Modellservering på Kubernetes

  • Översikt över inferensservrar
  • Distribuera TensorFlow Serving och TorchServe
  • Konfigurera modellslutpunkter

Inferensoptimeringsmetoder

  • Batchstrategier
  • Hantering av samtidiga förfrågningar
  • Latens- och dataflödestuning

Automatisk skalning av ML-arbetsbelastningar

  • Horisontal Pod Autoscaler (HPA)
  • Vertikal Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-provisionering och resurshantering

  • Konfiguration av GPU-noder
  • Översikt över NVIDIA enhetsplugin
  • Resurstilldelningar och gränser för ML-arbetsbelastningar

Modelldrift och versionsstrategier

  • Blue/green-distributioner
  • Kanary-utvecklingsmönster
  • A/B-testning för modellbedömning

Övervakning och synlighet för ML i produktionsmiljöer

  • Mätvärden för inferensarbetsbelastningar
  • Praxis för loggning och spårning
  • Dashboards och aviseringar

Säkerhets- och tillförlitlighetsaspekter

  • Säkra modellslutpunkter
  • Nätverksprinciper och åtkomstkontroll
  • Garantiera hög tillgänglighet

Sammanfattning och nästa steg

Krav

  • Förståelse av arbetsflöden för behållariserade program
  • Erfarenhet av Python-baserade maskininlärningsmodeller
  • Kännedom om Kubernetes-grundläggande koncept

Målgrupp

  • ML-ingenjörer
  • DevOps-ingenjörer
  • Plattformsteam för teknik
 14 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (5)

Kommande Kurser

Relaterade Kategorier