Ljudklassificering och händelseidentifiering med ML Träningskurs

Grundvalar för ljudklassificering

• Typologier av ljudhändelser: miljörelaterade, mekaniska, mänskligt skapade
• Överblick över användningsfall: övervakning, övervakningsavtal, automatisering
• Ljudklassificering jämfört med identifiering och segmentering

Ljuddata och funktionsextraktion

• Typologier av ljudfiler och format
• Överväganden kring samplingsfrekvens, fönsterring och storleksinställningar
• Extraktion av MFCC:er, kromafunktioner och melspektrumgram

Dataförberedelse och etikettering

• UrbanSound8K, ESC-50 och anpassade datasets
• Etikettering av ljudhändelser och tidsskala gränser
• Balansering av datasets och utvidgning av ljud

Byggande av ljudklassificeringsmodeller

• Användning av konvolutionella neurala nätverk (CNN:er) för ljud
• Modellinput: rå vågform jämfört med funktioner
• Förlustfunktioner, utvärderingsmetriker och överanpassning

Händelseidentifiering och temporär lokalisering

• Strategier för framebaserad och segmentbaserad detektering
• Efterbehandling av detekteringar med tröskelvärden och glättning
• Visualisering av förutsägelser på ljudtidslinjer

Avancerade ämnen och realtidsbehandling

• Överföringslärning för scenarier med lite data
• Införande av modeller med TensorFlow Lite eller ONNX
• Strömmande ljudbehandling och latensöverväganden

Projektutveckling och tillämpningsfall

• Design av en komplett pipeline: från inmatning till klassificering
• Utveckling av en konceptbevis för övervakning, kvalitetskontroll eller övervakning
• Loggning, varning och integration med instrumentpaneler eller APIs

Sammanfattning och nästa steg