Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Införandet
- Översikt över skalningsutmaningar för djupinlärning
- Översikt över DeepSpeed och dess funktioner
- DeepSpeed jämfört med andra distribuerade bibliotek för djupinlärning
Komma igång
- Konfigurera utvecklingsmiljön
- Installera PyTorch och DeepSpeed
- Konfigurera DeepSpeed för distribuerad träning
Funktioner för DeepSpeed-optimering
- Pipeline för DeepSpeed-träning
- ZeRO (minnesoptimering)
- Kontrollpunkter för aktivering
- Kontrollpunkter för övertoning
- Parallellitet i pipeline
Skala modeller med DeepSpeed
- Grundläggande skalning med DeepSpeed
- Avancerade skalningstekniker
- Prestandaöverväganden och metodtips
- Felsöknings- och felsökningstekniker
Avancerade DeepSpeed-ämnen
- Avancerade optimeringstekniker
- Använda DeepSpeed med blandad precisionsträning
- DeepSpeed på olika hårdvara (t.ex. GPUs, TPU:er)
- DeepSpeed med flera träningsnoder
Integrera DeepSpeed med PyTorch
- Integrera DeepSpeed med PyTorch-arbetsflöden
- Använda DeepSpeed med PyTorch Lightning
Felsökning
- Felsöka vanliga DeepSpeed-problem
- Övervakning och loggning
Sammanfattning och nästa steg
- Sammanfattning av viktiga begrepp och funktioner
- Bästa praxis för att använda DeepSpeed i produktion
- Ytterligare resurser för att lära dig mer om DeepSpeed
Krav
- Kunskaper på mellannivå om principer för djupinlärning
- Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
- Förtrogenhet med Python-programmering
Publik
- Datavetare
- Ingenjörer inom maskininlärning
- Utvecklare
21 timmar
Vittnesmål (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurs - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.