Kom i kontakt
 Varaktighet 14 timmar

Kursplan

Förberedelse av maskininlärningsmodeller för implementering

  • Packning av modeller med Docker
  • Export av modeller från TensorFlow och PyTorch
  • Överväganden kring versionering och lagring

Modelservering i Kubernetes

  • Överblick av inferensserver
  • Implementering av TensorFlow Serving och TorchServe
  • Upprättande av modeländpunkter

Optimeringstekniker för inferens

  • Batcheringsstrategier
  • Hantering av samtidiga begäranden
  • Tuning av latens och genomsats

Automatisk skalning av ML-arbetsbelastningar

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-allokering och resursmanagement

  • Konfiguration av GPU-noder
  • Överblick över NVIDIA device plugin
  • Resursbegäranden och gränser för ML-arbetsbelastningar

Strategier för modellrullning och utgivning

  • Blå/grön deployments
  • Kanarrollutslagsmönster
  • A/B-testning för utvärdering av modeller

Övervakning och observerbarhet för ML i produktion

  • Mätningar för inferensarbetsbelastningar
  • Praktiker för loggning och spårning
  • Instrumentpaneler och alertning

Överväganden kring säkerhet och tillförlitlighet

  • Säkrande av modeländpunkter
  • Nätverkspolicyer och åtkomstkontroll
  • Säkerställande av hög tillgänglighet

Sammanfattning och nästa steg

Krav

  • Förståelse för flöden för kontaineriserade appar
  • Erfarenhet av maskininlärningsmodeller baserade på Python
  • Kunskaper i grundläggande Kubernetes-koncept

Targetgrupp

  • ML-ingenjörer
  • DevOps-ingenjörer
  • Plattformstekniska team

Antal deltagare


Pris per deltagare

Vittnesmål (4)

Kommande Kurser

Relaterade Kategorier