Optimering av neuronal nätverk prestanda med CANN SDK Träningskurs

Översikt över CANN: s optimeringsmöjligheter

• Sådan inference prestanda hanteras i CANN
• Optimeringsmål för edge- och inbäddade AI-system
• Förståelse för AI Core utnyttjande och minnesallokering

Användning av Graph Engine för analys

• Introduktion till Graph Engine och exekveringspipelinen
• Visualisering av operatörsgrafer och körningsmätare
• Modifiering av beräkningsgrafer för optimering

Profilverktug och prestandaindikatorer

• Användning av CANN Profiling Tool (profiler) för arbetsbelastningsanalys
• Analys av kärnans exekveringstid och flaskhalsar
• Minnesåtkomstprofilering och tilmningstrategier

Utveckling av anpassade operatörer med TIK

• Översikt över TIK och operatörsprogrammeringsmodell
• Implementation av en anpassad operatör med hjälp av TIK DSL
• Testning och mäta av operatörsprestanda

Avancerad operatörsoptimering med TVM

• Intro till TVM integrering med CANN
• Autotuningstrategier för beräkningsgrafer
• När och hur man byter mellan TVM och TIK

Minnesoptimeringstekniker

• Hantering av minneslayout och buffertplacering
• Tekniker för att minska minnesanvändning på chip
• Bästa praxis för asynkron exekvering och återanvändning

Verklig implementering och fallstudier

• Fallstudie: prestandaanpassning för smart stads kamerapipeline
• Fallstudie: optimering av autonoma fordonets inferensstack
• Riktlinjer för iterativ profilering och kontinuerlig förbättring

Sammanfattning och nästa steg