Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Prestandokoncept och metrik
- Latens, genomsättning, effektanvändning, resursutnyttjande
- System- kontra modellnivaus bottleneckar
- Profilering för inferens kontra träning
Profilering på Huawei Ascend
- Användning av CANN Profiler och MindInsight
- Kärn- och operatörsdiagnostik
- Offload-mönster och minnesmappning
Profilering på Biren GPU
- Biren SDK:s prestandaövervakningsfunktioner
- Kärnfusion, minnesjustering och exekveringsköer
- Prestandaprofilering med hänsyn till effekt och temperatur
Profilering på Cambricon MLU
- BANGPy och Neuwares prestandaverktyg
- Kärnvisibilitet och loggtolkning
- MLU-profilerintegrering med distributionsramverk
Graf- och modelloptimering
- Grafbeskednings- och kvantiseringstrategier
- Operatörfusion och omstrukturering av beräkningsgrafer
- Standardisering av inskickstorlek och batch-finejustering
Minnes- och kärnoptimering
- Optimering av minneslayout och återanvändning
- Effektiv buffertbehandling över chipsatser
- Kärnnivaus finejusteringstekniker per plattform
Plattformsövergripande bästa praxis
- Prestandaportabilitet: abstraktionsstrategier
- Byggande av delade finejusteringspipelines för multi-chipmiljöer
- Exempel: finejustering av ett objektdetektionsmodell över Ascend, Biren och MLU
Sammanfattning och nästa steg
Krav
- Erfarenhet av att arbeta med AI-modellträning eller distributionspipelines
- Förståelse för GPU/MLU beräkningsprinciper och modelloptimering
- Grundläggande kunnande om prestandaprofileringsverktyg och metrik
Målgrupp
- Prestandoingenjörer
- Maskininlärningsinfrastrukturteam
- AI-systemarkitekter
21 Timmar
