Kursplan

Införandet

  • Översikt över skalningsutmaningar för djupinlärning
  • Översikt över DeepSpeed och dess funktioner
  • DeepSpeed jämfört med andra distribuerade bibliotek för djupinlärning

Komma igång

  • Konfigurera utvecklingsmiljön
  • Installera PyTorch och DeepSpeed
  • Konfigurera DeepSpeed för distribuerad träning

Funktioner för DeepSpeed-optimering

  • Pipeline för DeepSpeed-träning
  • ZeRO (minnesoptimering)
  • Kontrollpunkter för aktivering
  • Kontrollpunkter för övertoning
  • Parallellitet i pipeline

Skala modeller med DeepSpeed

  • Grundläggande skalning med DeepSpeed
  • Avancerade skalningstekniker
  • Prestandaöverväganden och metodtips
  • Felsöknings- och felsökningstekniker

Avancerade DeepSpeed-ämnen

  • Avancerade optimeringstekniker
  • Använda DeepSpeed med blandad precisionsträning
  • DeepSpeed på olika hårdvara (t.ex. GPUs, TPU:er)
  • DeepSpeed med flera träningsnoder

Integrera DeepSpeed med PyTorch

  • Integrera DeepSpeed med PyTorch-arbetsflöden
  • Använda DeepSpeed med PyTorch Lightning

Felsökning

  • Felsöka vanliga DeepSpeed-problem
  • Övervakning och loggning

Sammanfattning och nästa steg

  • Sammanfattning av viktiga begrepp och funktioner
  • Bästa praxis för att använda DeepSpeed i produktion
  • Ytterligare resurser för att lära dig mer om DeepSpeed

Krav

  • Kunskaper på mellannivå om principer för djupinlärning
  • Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
  • Förtrogenhet med Python-programmering

Publik

  • Datavetare
  • Ingenjörer inom maskininlärning
  • Utvecklare
 21 timmar

Antal deltagare


Price per participant

Upcoming Courses