Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Införandet
- Översikt över skalningsutmaningar för djupinlärning
- Översikt över DeepSpeed och dess funktioner
- DeepSpeed jämfört med andra distribuerade bibliotek för djupinlärning
Komma igång
- Konfigurera utvecklingsmiljön
- Installera PyTorch och DeepSpeed
- Konfigurera DeepSpeed för distribuerad träning
Funktioner för DeepSpeed-optimering
- Pipeline för DeepSpeed-träning
- ZeRO (minnesoptimering)
- Kontrollpunkter för aktivering
- Kontrollpunkter för övertoning
- Parallellitet i pipeline
Skala modeller med DeepSpeed
- Grundläggande skalning med DeepSpeed
- Avancerade skalningstekniker
- Prestandaöverväganden och metodtips
- Felsöknings- och felsökningstekniker
Avancerade DeepSpeed-ämnen
- Avancerade optimeringstekniker
- Använda DeepSpeed med blandad precisionsträning
- DeepSpeed på olika hårdvara (t.ex. GPUs, TPU:er)
- DeepSpeed med flera träningsnoder
Integrera DeepSpeed med PyTorch
- Integrera DeepSpeed med PyTorch-arbetsflöden
- Använda DeepSpeed med PyTorch Lightning
Felsökning
- Felsöka vanliga DeepSpeed-problem
- Övervakning och loggning
Sammanfattning och nästa steg
- Sammanfattning av viktiga begrepp och funktioner
- Bästa praxis för att använda DeepSpeed i produktion
- Ytterligare resurser för att lära dig mer om DeepSpeed
Krav
- Kunskaper på mellannivå om principer för djupinlärning
- Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
- Förtrogenhet med Python-programmering
Publik
- Datavetare
- Ingenjörer inom maskininlärning
- Utvecklare
21 timmar
Vittnesmål (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurs - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.