Kursplan

Introduktion

  • Översikt över skalningsutmaningar för djupinlärning
  • Översikt över DeepSpeed och dess funktioner
  • DeepSpeed kontra andra distribuerade djupinlärningsbibliotek

Komma igång

  • Att sätta upp utvecklingsmiljön
  • Installerar PyTorch och DeepSpeed
  • Konfigurera DeepSpeed för distribuerad träning

DeepSpeed-optimeringsfunktioner

  • DeepSpeed-träningspipeline
  • ZeRO (minnesoptimering)
  • Aktiveringskontroll
  • Lutningskontroll
  • Pipeline parallellism

Skala modeller med DeepSpeed

  • Grundläggande skalning med DeepSpeed
  • Avancerade skalningstekniker
  • Prestandaöverväganden och bästa praxis
  • Felsöknings- och felsökningstekniker

Avancerade DeepSpeed-ämnen

  • Avancerade optimeringstekniker
  • Använder DeepSpeed med blandad precisionsträning
  • DeepSpeed på olika hårdvara (t.ex. GPUs, TPUs)
  • DeepSpeed med flera träningsnoder

Integrera DeepSpeed med PyTorch

  • Integrering av DeepSpeed med PyTorch arbetsflöden
  • Använda DeepSpeed med PyTorch Lightning

Felsökning

  • Felsökning av vanliga DeepSpeed-problem
  • Övervakning och loggning

Sammanfattning och nästa steg

  • Sammanfattning av nyckelbegrepp och funktioner
  • Bästa metoder för att använda DeepSpeed i produktionen
  • Ytterligare resurser för att lära dig mer om DeepSpeed

Krav

  • Medellång kunskap om principer för djupinlärning
  • Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
  • Kännedom om Python-programmering

Publik

  • Dataforskare
  • Maskininlärningsingenjörer
  • Utvecklare
 21 timmar

Antal deltagare



Price per participant

Relaterade Kurser

Relaterade Kategorier