Kursplan
Införandet
- Översikt över skalningsutmaningar för djupinlärning
- Översikt över DeepSpeed och dess funktioner
- DeepSpeed jämfört med andra distribuerade bibliotek för djupinlärning
Komma igång
- Konfigurera utvecklingsmiljön
- Installera PyTorch och DeepSpeed
- Konfigurera DeepSpeed för distribuerad träning
Funktioner för DeepSpeed-optimering
- Pipeline för DeepSpeed-träning
- ZeRO (minnesoptimering)
- Kontrollpunkter för aktivering
- Kontrollpunkter för övertoning
- Parallellitet i pipeline
Skala modeller med DeepSpeed
- Grundläggande skalning med DeepSpeed
- Avancerade skalningstekniker
- Prestandaöverväganden och metodtips
- Felsöknings- och felsökningstekniker
Avancerade DeepSpeed-ämnen
- Avancerade optimeringstekniker
- Använda DeepSpeed med blandad precisionsträning
- DeepSpeed på olika hårdvara (t.ex. GPUs, TPU:er)
- DeepSpeed med flera träningsnoder
Integrera DeepSpeed med PyTorch
- Integrera DeepSpeed med PyTorch-arbetsflöden
- Använda DeepSpeed med PyTorch Lightning
Felsökning
- Felsöka vanliga DeepSpeed-problem
- Övervakning och loggning
Sammanfattning och nästa steg
- Sammanfattning av viktiga begrepp och funktioner
- Bästa praxis för att använda DeepSpeed i produktion
- Ytterligare resurser för att lära dig mer om DeepSpeed
Krav
- Kunskaper på mellannivå om principer för djupinlärning
- Erfarenhet av PyTorch eller liknande ramverk för djupinlärning
- Förtrogenhet med Python-programmering
Publik
- Datavetare
- Ingenjörer inom maskininlärning
- Utvecklare
Vittnesmål (3)
Jag tyckte verkligen om avslutningen där vi fick testa CHAT GPT. Rummet var dock inte optimerat för detta - istället för en stor bordskonkurrens hade ett par mindre bord hjälpt till att dela upp oss i små grupper och klura ut idéer.
Nola - Laramie County Community College
Kurs - Artificial Intelligence (AI) Overview
Maskintolkat
Att arbeta från grunderna på ett fokuserat sätt och övergå till att tillämpa fallstudier samma dag
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maskintolkat
Det kändes som att vi gick igenom direkt relevanta uppgifter i ett bra tempo (alltså ingen fyllmateriel).
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Introduction to the use of neural networks
Maskintolkat