Förstå djupinlärningsnätverk Träningskurs

Del 1 – Djupinlärning och DNN-koncept

Inledning till AI, maskininlärning & djupinlärning

• Historia, grundläggande koncept och vanliga tillämpningar av artificiell intelligens bort från fantasier om detta domän.
• Kollektiv intelligens: sammanlänka kunskap som delas av många virtuella agenter
• Genetiska algoritmer: att utveckla en population av virtuella agenter genom selektion
• Vanliga maskininlärningsmetoder: definition.
• Typer av uppgifter: övervakad inlärning, oövervakad inlärning, förstärkningsinlärning
• Typer av åtgärder: klassificering, regression, klustrering, tättningsestimering, dimensionssänkning
• Exempel på maskininlärningsalgoritmer: linjär regression, Naive Bayes, Random Tree
• Maskininlärning VS Djupinlärning: problem där maskininlärning fortfarande är det främsta (Random Forests & XGBoosts)

Grundläggande koncept för ett neuronnät (Applikation: flergöringsperceptron)

• Repetition av matematiska grunder.
• Definition av ett neuronnät: klassisk arkitektur, aktivering och
• Vägning av tidigare aktiveringar, djupet på ett nätverk
• Definition av inlärning för ett neuronnät: kostnadsfunktioner, backpropagation, stokastisk gradientavstigande, maximum likelihood.
• Modellering av ett neuronnät: modellering av indatamängder och utdatamängder beroende på problemtypen (regression, klassificering ...). Fläkets förbannade.
• Skillnad mellan multifunctionella data och signal. Val av kostfunktion baserat på data.
• Approximation av en funktion med ett neuronnät: presentation och exempel
• Approximation av en fördelning med ett neuronnät: presentation och exempel
• Dataökning: hur man balanserar en datamängd
• Generalisering av resultat från ett neuronnät.
• Initialisering och regularisering av ett neuronnät: L1 / L2-regularisering, batch-normalisering
• Optimerings- och konvergensalgoritmer

Standard ML/DL-verktyg

En enkel presentation med fördelar, nackdelar, position i ekosystemet och användning är planerad.

• Datahanteringsverktyg: Apache Spark, Apache Hadoop-verktyg
• Maskininlärning: Numpy, Scipy, Sci-kit
• Hög-nivå DL-frameworks: PyTorch, Keras, Lasagne
• Låg-nivå DL-frameworks: Theano, Torch, Caffe, Tensorflow

Konvolutionella neuronnät (CNN).

• Presentation av CNN: grundläggande principer och tillämpningar
• Grundprinciper för en CNN: konvolutionslager, användning av ett kärna,
• Padding & strid, generering av feature map, pooling-lager. Utvidgningar 1D, 2D och 3D.
• Presentation av de olika CNN-arkitekture som har förbättrat klassificeringen
• Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentation av innovationer som införts av varje arkitektur och deras mer globala tillämpningar (Convolution 1x1 eller residual connections)
• Användning av en uppmärksamhet modell.
• Tillämpning på en vanlig klassificeringsfall (text eller bild)
• CNN för generering: superupplösning, pixel-till-pixel segmentering. Presentation av
• Huvudsakliga strategier för att öka feature map för bildgenerering.

Rekurrenta neuronnät (RNN).

• Presentation av RNN: grundläggande principer och tillämpningar.
• Grundprinciper för en RNN: dold aktivering, backpropagation genom tid, utökad version.
• Utveckling mot Gated Recurrent Units (GRUs) och LSTM (Long Short Term Memory).
• Presentation av de olika tillstånden och utvecklingen som fört med dessa arkitekturer
• Konvergens- och försvinnande gradientproblem
• Klassiska arkitekture: prognos av en tids serie, klassificering ...
• RNN Encoder Decoder-typ av arkitektur. Användning av en uppmärksamhet modell.
• NLP-tillämpningar: ord / teckenkodning, översättning.
• Videotillämpningar: prognos av den nästa genererade bilden i en videosekvens.

Genererande modeller: Variational AutoEncoder (VAE) och Generative Adversarial Networks (GAN).

• Presentation av genererande modeller, länk till CNN
• Auto-encoder: dimensionssänkning och begränsad generation
• Variational Auto-encoder: genererande modell och approximation av fördelningen för en given. Definition och användning av latenta rum. Omparametriseringstricket. Tillämpningar och begränsningar som observerats
• Generative Adversarial Networks: grundprinciper.
• Dual Network Arkitektur (Generator och diskriminatör) med växelvis inlärning, tillgängliga kostfunktioner.
• Konvergens av en GAN och svårigheter som stöts på.
• Förbättrad konvergens: Wasserstein GAN, Began. Earth Moving Distance.
• Tillämpningar för generering av bilder eller fotografier, textgenerering, superupplösning.

Djup förstärkningsinlärning.

• Presentation av förstärkningsinlärning: kontroll av en agent i ett definierat miljö
• Genom ett tillstånd och möjliga åtgärder
• Användning av ett neuronnät för att approximera tillståndsfungeringen
• Deep Q Learning: upplevelseuppspelning, och tillämpning på kontroll av en videospel.
• Optimering av inlärningspolicy. On-policy && off-policy. Actor critic arkitektur. A3C.
• Tillämpningar: kontroll av ett enskelt videospel eller ett digitalt system.

Del 2 – Theano för djupinlärning

Theano-grunder

• Introduktion
• Installation och konfiguration

TheanoFunktioner

• inputs, outputs, updates, givens

Tränings- och optimering av ett neuronnät med Theano

• Modellering av neuronnät
• Logistisk regression
• Dolda lager
• Träna ett nätverk
• Beräkning och klassificering
• Optimering
• Log Loss

Testa modellen

Del 3 – DNN med Tensorflow

TensorFlow-grunder

• Skapa, initiera, spara och återställa TensorFlow-variabler
• Mata in, läs och förbered TensorFlow-data
• Hur man använder TensorFlow-infrastrukturen för att träna modeller i större skala
• Visualisera och utvärdera modeller med TensorBoard

TensorFlow-mekanik

• Förbered data
• Ladda ned
• Inputs och placeholdrar
• Bygg graferna
  • Inferens
  • Förlust
  • Träning
• Träna modellen
  • Grafen
  • Sessionen
  • Träningsloop
• Utvärdera modellen
  • Bygg utvärderingsgraf
  • Utvärderingsutdata

Perceptronen

• Aktiveringsfunktioner
• Perceptronens inlärningsalgoritm
• Binär klassificering med perceptronen
• Dokumentklassificering med perceptronen
• Perceptronens begränsningar

Från Perceptron till Support Vector Machines

• Kärnor och kärnotrick
• Maximal marginalklassificering och supportvektorer

Konstgjorda neuronnät

• Icke-linjära beslutgränser
• Feedforward och feedback konstgjort neuronnät
• Flergöringsperceptron
• Minimera kostfunktionen
• Framåtpropagering
• Bakåtpropagering
• Förbättra hur neuronnät lär sig

Konvolutionella neuronnät

• Mål
• Modellarkitektur
• Principer
• Kodorganisation
• Starta och träningsmodellen
• Utvärdera modellen

Grundläggande introduktioner som ska ges till nedanstående moduler (Kort introduktion beroende på tidsförsäljning):

Tensorflow - Avancerad användning

• Trådar och köer
• Distribuerad TensorFlow
• Skriva dokumentation och dela din modell
• Anpassa dataläsare
• Hantera TensorFlow-modelfiler

TensorFlow-serving

• Introduktion
• Grundläggande serving-tutorial
• Avancerad serving-tutorial
• Serving Inception Model Tutorial