Kom i kontakt

Kursplan

Förberedande maskininlärningsmodeller för distribution

  • Förpacka modeller med Docker
  • Exportera modeller från TensorFlow och PyTorch
  • Versionshantering och lagringsaspekter

Modellleverans på Kubernetes

  • Översikt över inferensservrar
  • Distribution av TensorFlow Serving och TorchServe
  • Inställning av modelländpunkter

Optimeringstekniker för inferens

  • Batchningsstrategier
  • Handläggning av parallella förfrågningar
  • Fördröjnings- och genomsnittsjustering

Horisontell skalning av ML-arbetbelastningar

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-försörjning och resurshantering

  • Konfiguration av GPU-noder
  • Översikt över NVIDIA-enhetsplugin
  • Resursförfrågningar och begränsningar för ML-arbetbelastningar

Modellutveckling och distributionsstrategier

  • Blå/grön distribution
  • Canary-distributionsmönster
  • A/B-testning för modellevaluation

Övervakning och observabilitet för ML i produktion

  • Metrik för inferensarbetsbelastningar
  • Loggnings- och spårningsmetoder
  • Dashboardar och alarmering

Säkerhets- och tillförlitlighetsaspekter

  • Säkra modelländpunkter
  • Nätverksregler och åtkomstkontroll
  • Säkerställa hög tillgänglighet

Sammanfattning och nästa steg

Krav

  • Förståelse för kontaineriserade applikationsflöden
  • Erfarenhet av Python-baserade maskininlärningsmodeller
  • Kunskap om grundläggande Kubernetes-principer

Målgrupp

  • ML-ingenjörer
  • DevOps-ingenjörer
  • Platform engineering-team
 14 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (3)

Kommande Kurser

Relaterade Kategorier