Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Introduktion
- Översikt över skalningsutmaningar för djupinlärning
- Översikt över DeepSpeed och dess funktioner
- DeepSpeed kontra andra distribuerade djupinlärningsbibliotek
Komma igång
- Att sätta upp utvecklingsmiljön
- Installerar PyTorch och DeepSpeed
- Konfigurera DeepSpeed för distribuerad träning
DeepSpeed-optimeringsfunktioner
- DeepSpeed-träningspipeline
- ZeRO (minnesoptimering)
- Aktiveringskontroll
- Lutningskontroll
- Pipeline parallellism
Skala modeller med DeepSpeed
- Grundläggande skalning med DeepSpeed
- Avancerade skalningstekniker
- Prestandaöverväganden och bästa praxis
- Felsöknings- och felsökningstekniker
Avancerade DeepSpeed-ämnen
- Avancerade optimeringstekniker
- Använder DeepSpeed med blandad precisionsträning
- DeepSpeed på olika hårdvara (t.ex. GPUs, TPUs)
- DeepSpeed med flera träningsnoder
Integrera DeepSpeed med PyTorch
- Integrering av DeepSpeed med PyTorch arbetsflöden
- Använda DeepSpeed med PyTorch Lightning
Felsökning
- Felsökning av vanliga DeepSpeed-problem
- Övervakning och loggning
Sammanfattning och nästa steg
- Sammanfattning av nyckelbegrepp och funktioner
- Bästa metoder för att använda DeepSpeed i produktionen
- Ytterligare resurser för att lära dig mer om DeepSpeed
Krav
- Medellång kunskap om principer för djupinlärning
- Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
- Kännedom om Python-programmering
Publik
- Dataforskare
- Maskininlärningsingenjörer
- Utvecklare
21 timmar