Deep Learning med TensorFlow 2 Träningskurs

Introduktion

• Introduktion till TensorFlow och deep learning
• Användningsområden och tillämpningar för TensorFlow
• TensorFlow-ekosystemet och verktygen
• Arbetsflöden för maskininlärning och deep learning
• Översikt över kursmål och praktiska övningar

TensorFlow 2.x vs tidigare versioner — Vad är nytt

• Vanliga skillnader mellan TensorFlow 1.x och 2.x
• Eager execution
• Förenklade API:er och förbättrad användbarhet
• Ändringar i modellkonstruktion och träning
• Introduktion till Keras som hög-nivå-API
• Migrering överväganden för befintliga TensorFlow-applikationer
• Bästa praxis för TensorFlow 2.x

Installation av TensorFlow 2.x

• Installation av TensorFlow
• Konfiguration av Python-miljö
• Verifiering av TensorFlow-installation
• Installation och hantering av nödvändiga beroenden
• Konfiguration av CPU- och GPU-miljöer
• Användning av TensorFlow med Jupyter-notebooks
• Grundläggande TensorFlow-kommandon och operationer
• Felsökning av installations- och konfigurationsproblem

Översikt över funktioner och arkitektur i TensorFlow 2.x

• TensorFlows arkitektur och kärnkomponenter
• Tensorer och tensoroperationer
• Variabler och konstanter
• Beräkningsgrafer och eager execution
• Automatisk derivering
• TensorFlows API:er och moduler
• Keras-integration
• Dataflöden med tf.data
• Modellsönderlagring och TensorFlow SavedModel
• TensorFlows ekosystem och utvecklingsarbetsflöde

Så fungerar neurala nätverk

• Grunderna för artificiella neurala nätverk
• Neuron, lager och nätverksarkitektur
• Aktiveringsfunktioner
• Framåtpropagering
• Förlustfunktioner
• Bakåtpropagering
• Gradientnedstigning och optimering
• Träningshastigheter och optimeringsstrategier
• Överanpassning och underanpassning
• Regulariseringstekniker
• Tränings-, validerings- och testdataset

Använda TensorFlow 2.x för att skapa deep learning-modeller

• Skapa tensorer och variabler
• Bygg neurala nätverk med Keras
• API:er för sekventiella och funktionella modeller
• Definiera egna modeller och lager
• Konfigurera optimerare
• Välj lämpliga förlustfunktioner
• Träna modeller med fit()
• Custom träningslooper
• Callback-funktioner och övervakning av träning
• Hantera modellkontrollpunkter (checkpoints)

Analysera data

• Förstå dataset för maskininlärning
• Utforska strukturerad och ostrukturerad data
• Datavisualisering
• Identifiera mönster och avvikelser
• Hantera saknade och inkonsistent data
• Dela upp data i tränings-, validerings- och testset
• Välj relevanta egenskaper (features)
• Förbered dataset för TensorFlow-modeller

Förberedning av data

• Normalisering och standardisering av data
• Kodning av kategorisk data
• Hantera saknade värden
• Skalning av egenskaper (feature scaling)
• Bildförberedelse
• Textförberedelse
• Dataugmentation
• Bygg effektiv inmatningspipeline
• Använd tf.data
• Batchning, shuffling, caching och prefetching
• Förbered data för modellträning

Bygg en modell

• Välj lämplig neurala nätverksarkitektur
• Definiera modellens in- och utmatning
• Skapa täta neurala nätverk
• Välj aktiveringsfunktioner
• Konfigurera modellen för träning
• Välj optimerare och förlustfunktioner
• Träna och validera modellen
• Övervaka träningsmätare
• Förbättra modellprestanda
• Förebygg överanpassning
• Implementera regularisering och dropout

Implementera en state-of-the-art bildklassificerare

• Grunderna för bildklassificering
• Förbered bild-dataset
• Bildnormalisering och augmentation
• Konvolutionella neurala nätverk
• Konvolutions- och poolningslager
• Designa en arkitektur för bildklassificering
• Överförd lärande (Transfer learning)
• Använd föruttränade modeller
• Finjustera föruttränade nätverk
• Bygg en avancerad bildklassificerare
• Evaluera klassificeringsprestanda

Träna modellen

• Konfigurera träningsparametrar
• Batchstorlek och epoker
• Välj optimerare
• Schemaläggning av träningshastighet
• Träningscallback
• Tidig stopp (Early stopping)
• Kontrollpunkter för modeller
• Övervaka träningsförmån
• Upptäck överanpassning
• Förbättra träningsprestanda
• Överväganden för distribuerad träning

Träning på GPU vs TPU

• Arktitektur för CPU, GPU och TPU
• Fördelar med hårvärksacceleration
• Konfigurera TensorFlow för GPU-träning
• Förstå TPU-baserad träning
• Välj hårvärk för olika arbetsbelastningar
• Flytta beräkningar mellan enheter
• Hantera minne och beräkningsresurser
• Jämför träningsprestanda
• Distribuerade och accelererade träningsstrategier

Evaluera modellen

• Välj lämpliga utvärderingsmätare
• Noggrannhet, precision, recall och F1-poäng
• Regressionsutvärderingsmätare
• Missförståelse-matriser (Confusion matrices)
• Valideringsstrategier
• Evaluera klassificeringsmodeller
• Evaluera modellgeneralisering
• Identifiera modellens svagheter
• Jämför olika modellkonfigurationer

Göra prediktioner

• Använd tränade modeller för inferens
• Förbered ny inmatningsdata
• Gör batch- och individuell prediktion
• Tolka modellens utdata
• Klassificerings sannolikheter
• Regressionprediktioner
• Bygg en inferensarbetsflöde
• Hantera osedda data
• Hantera prediktionpipeline

Evaluera prediktioner

• Analysera prediktkvalitet
• Jämför prediktioner med förväntade resultat
• Identifiera falska positiva och falska negativa
• Felanalys
• Evaluera modellkonfidens
• Visualisera prediktsresultat
• Upptäck data- och prediktsbias
• Förbättra modellprestanda baserat på prediktsanalys

Felsökning av modellen

• Identifiera vanliga träningsproblem
• Diagnostisera felaktiga prediktioner
• Felsök datapipline
• Undersök beteendet hos förlust och mätare
• Upptäck exploderande och svaga gradients
• Diagnostisera överanpassning och underanpassning
• Inspektera modelllager och utdata
• Använd TensorFlow-felsöknings- och profileringsverktyg
• Förbättra modellstabilitet och prestanda

Spara en modell

• Spara tränade modeller
• TensorFlow SavedModel-format
• Spara och återställa modellvikt
• Spara modellarkitektur och konfiguration
• Ladda modeller för inferens
• Modellversionering
• Exportera modeller för distribution
• Hantera modellartefakter
• Förbered modeller för produktionsmiljöer

Distribuera en modell till molnet

• Introduktion till molnbaserad modelldistribution
• Förbered TensorFlow-modeller för produktion
• Tillhandahålla modeller via API:er
• Koncept för modellservering
• Kontainerisera TensorFlow-applikationer
• Molnbaserad inferens
• Skalning av modellserveringsarbetsbelastningar
• Övervaka distribuerade modeller
• Hantera modellversioner
• Överväganden för produktionsdistribution

Distribuera en modell till en mobil enhet

• Utmanskningar med mobil maskininlärning
• TensorFlow Lite
• Konvertera TensorFlow-modeller för mobil distribution
• Optimering av modeller och minskning av storlek
• Kvantisering
• Kör inferens på mobila enheter
• Hantera resurser på mobila enheter
• Integrera modeller i mobila applikationer
• Testa mobil inferensprestanda

Distribuera en modell till ett inbäddat system (IoT)

• Maskininlärning på inbäddade enheter
• TensorFlow Lite för inbäddade tillämpningar
• Resursbegränsningar och optimering
• Minska modellstorlek och beräkningskrav
• Edge-inferens
• Processning av sensor- och realtidsdata
• Kör prediktioner lokalt
• Överväganden kring ström- och minnesanvändning
• Integrera TensorFlow-modeller i IoT-arbetsflöden
• Testa och övervaka edge-distributioner

Integrera en modell med olika språk

• TensorFlows modellinteroperabilitet
• Tillhandahålla modeller via API:er
• Använd TensorFlow-modeller från olika programmeringsmiljöer
• Python-baserad modellintegration
• Integrera modeller i webbsidor
• Modellinferens via REST-baserade tjänster
• Integrera TensorFlow i befintliga applikationer
• Datautbyte och serialisering
• Överväganden för produktionsintegration

Felsökning

• Diagnostisera TensorFlow-installationsproblem
• Felsök modellbyggnadsfel
• Felsök problem med dataförberedelse
• Lös träningsfel
• Undersök problem med GPU- och TPU-konfiguration
• Diagnostisera minnes- och prestandaproblem
• Felsök modellladdning och sparande
• Felsök distributionsproblem
• Praktiska felsökningsövningar

Sammanfattning och avslutning

• Genomgång av TensorFlow 2.x-koncept
• Genomgång av neurala nätverks- och deep learning-arbetsflöden
• Genomgång av datapreparation och utveckling av modeller
• Genomgång av bildklassificering
• Genomgång av tränings- och utvärderingstekniker
• Genomgång av felsökning och optimering av modeller
• Genomgång av distribution till moln, mobila enheter och IoT
• Bästa praxis för TensorFlow-utveckling
• Slutlig praktisk övning
• Frågor och diskussion