Kursplan

Del 1 – Deep Learning och DNN-begrepp


Inledning AI, Machine Learning och Deep Learning

  • Historia, grundläggande begrepp och vanliga tillämpningar av artificiell intelligens långt av de fantasier som bärs av denna domän

  • Collective Intelligence: aggregera kunskap som delas av många virtuella agenter

  • Genetiska algoritmer: för att utveckla en population av virtuella agenter genom selektion

  • Vanlig inlärningsmaskin: definition.

  • Typer av uppgifter: övervakad inlärning, oövervakad inlärning, förstärkningsinlärning

  • Typer av åtgärder: klassificering, regression, klustring, densitetsuppskattning, minskning av dimensionalitet

  • Exempel på Machine Learning algoritmer: Linjär regression, Naive Bayes, Random Tree

  • Maskininlärning VS Deep Learning: problem som Machine Learning fortfarande är den senaste tekniken (Random Forests & XGBoosts)

Grundläggande begrepp för ett neuralt nätverk (Applikation: flerskiktsperceptron)

  • Påminnelse om matematiska grunder.

  • Definition av ett nätverk av neuroner: klassisk arkitektur, aktivering och

  • Viktning av tidigare aktiveringar, djup i ett nätverk

  • Definition av inlärning av ett nätverk av neuroner: funktioner av kostnad, back-propagation, stokastisk gradient descent, maximal sannolikhet.

  • Modellering av ett neuralt nätverk: modellering av in- och utdata enligt typen av problem (regression, klassificering ...). Dimensionalitetens förbannelse.

  • Skillnad mellan multifunktionsdata och signal. Val av en kostnadsfunktion enligt data.

  • Approximation av en funktion av ett nätverk av neuroner: presentation och exempel

  • Approximation av en distribution av ett nätverk av neuroner: presentation och exempel

  • Dataförstärkning: hur man balanserar en datauppsättning

  • Generalisering av resultaten av ett nätverk av neuroner.

  • Initiering och regularisering av ett neuralt nätverk: L1/L2-regularisering, batchnormalisering

  • Optimerings- och konvergensalgoritmer

Standard ML / DL-verktyg

En enkel presentation med fördelar, nackdelar, position i ekosystemet och användning planeras.

  • Verktyg för datahantering: Apache Spark, Apache Hadoop Verktyg

  • Machine Learning: Numpy, Scipy, Sci-kit

  • DL-ramverk på hög nivå: PyTorch, Keras, Lasagne

  • DL-ramverk på låg nivå: Theano, Torch, Caffe, Tensorflow

Faltning Neural Networks (CNN).

  • Presentation av CNN: grundläggande principer och tillämpningar

  • Grundläggande drift av ett CNN: faltningslager, användning av en kärna,

  • Utfyllnad och steg, generering av funktionskartor, poolning av lager. Förlängningar 1D, 2D och 3D.

  • Presentation av de olika CNN-arkitekturerna som förde den senaste tekniken i klassificeringen

  • Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentation av innovationer som uppstår av varje arkitektur och deras mer globala tillämpningar (Faltning 1x1 eller restanslutningar)

  • Användning av en uppmärksamhetsmodell.

  • Tillämpning på ett vanligt klassificeringsfall (text eller bild)

  • CNN:er för generering: superupplösning, pixel-till-pixel-segmentering. Presentation av

  • Huvudstrategier för att öka funktionskartor för bildgenerering.

Återkommande Neural Networks (RNN).

  • Presentation av RNN: grundläggande principer och tillämpningar.

  • Grundläggande drift av RNN: dold aktivering, bakåtutbredning genom tiden, ovikt version.

  • Utveckling mot Gated Recurrent Units (GRUs) och LSTM (Long Short Term Memory).

  • Presentation av de olika tillstånden och den utveckling som dessa arkitekturer för med sig

  • Problem med konvergens och försvinnande gradient

  • Klassiska arkitekturer: Förutsägelse av en temporal serie, klassificering ...

  • Arkitektur av RNN-kodare av avkodartyp. Användning av en uppmärksamhetsmodell.

  • NLP-applikationer: ord / teckenkodning, översättning.

  • Videoapplikationer: förutsägelse av nästa genererade bild av en videosekvens.


Generationsmodeller: Variational AutoEncoder (VAE) och Generative Adversarial Networks (GAN).

  • Presentation av generationsmodellerna, koppling till CNN

  • Automatisk kodare: minskning av dimensionalitet och begränsad generering

  • Variational Auto-encoder: generationsmodell och approximation av fördelningen av en given. Definition och användning av latent utrymme. Knep för omparametrisering. Tillämpningar och gränser som observerats

  • Generativa kontradiktoriska nätverk: Grunder.

  • Dubbel nätverksarkitektur (generator och diskriminator) med alternativ inlärning, kostnadsfunktioner tillgängliga.

  • Konvergens av ett GAN och svårigheter som uppstått.

  • Förbättrad konvergens: Wasserstein GAN, Började. Avstånd för jordförflyttning.

  • Applikationer för generering av bilder eller fotografier, textgenerering, superupplösning.

Djup Reinforcement Learning.

  • Presentation av reinforcement learning: kontroll av en agent i en definierad miljö

  • Av ett tillstånd och möjliga åtgärder

  • Användning av ett neuralt nätverk för att approximera tillståndsfunktionen

  • Deep Q Learning: upplev repris och tillämpning på kontrollen av ett videospel.

  • Optimering av inlärningspolicy. På-policy och icke-policy. Skådespelare kritiker arkitektur. A3C.

  • Användningsområden: styrning av ett enskilt videospel eller ett digitalt system.

Del 2 - Theano för Deep Learning

Grunderna i Theano

  • Införandet

  • Installation och konfiguration

Theano-funktioner

  • Ingångar, utdata, uppdateringar, givna

Träning och optimering av ett neuralt nätverk med hjälp av Theano

  • Modellering av neurala nätverk

  • Logistisk regression

  • Dolda lager

  • Träna ett nätverk

  • Databehandling och klassificering

  • Optimering

  • Förlust av loggning

Testa modellen


Del 3 – DNN med Tensorflow

TensorFlow Grunderna

  • Skapa, initiera, spara och återställa TensorFlow variabler

  • Matning, avläsning och förladdning TensorFlow Data

  • Så här använder du TensorFlow-infrastruktur för att träna modeller i stor skala

  • Visualisera och utvärdera modeller med TensorBoard

TensorFlow Mekanik

  • Förbereda data

  • Ladda ned

  • Indata och platshållare

  • Skapa GraphS

    • Slutsats

    • Förlust

    • Träning

  • Träna modellen

    • Grafen

    • Sessionen

    • Tågslinga

  • Utvärdera modellen

    • Bygg Eval-grafen

    • Eval Utgång

Perceptronen

  • Aktivering funktioner

  • Algoritmen för perceptroninlärning

  • Binär klassificering med perceptronen

  • Dokumentklassificering med perceptronen

  • Perceptronens begränsningar

Från Perceptron till stödvektormaskiner

  • Kärnor och kärntricket

  • Klassificering av maximal marginal och stödvektorer

Konstgjord Neural Networks

  • Icke-linjära beslutsgränser

  • Feedforward och återkoppling av artificiella neurala nätverk

  • Perceptroner i flera lager

  • Minimering av kostnadsfunktionen

  • Framåtriktad spridning

  • Förökning bakåt

  • Förbättra hur neurala nätverk lär sig

Faltning Neural Networks

  • Goals

  • Modellens arkitektur

  • Principer

  • Organisation av kod

  • Lansera och träna modellen

  • Utvärdera en modell

Grundläggande introduktioner som ska ges till nedanstående moduler (kort introduktion ska ges baserat på tidstillgänglighet):

Tensorflow - Avancerad användning

  • Trådning och köer

  • Distribuerad TensorFlow

  • Skriva Documentation och dela din modell

  • Anpassa dataläsare

  • Manipulera TensorFlow modellfiler


TensorFlow Servering

  • Införandet

  • Grundläggande serveringshandledning

  • Avancerad serveringshandledning

  • Självstudie om att betjäna startmodellen

Krav

Bakgrund i fysik, matematik och programmering. Engagemang i bildbehandlingsaktiviteter.

Delegaterna bör ha en tidigare förståelse för maskininlärningskoncept och bör ha arbetat med Python programmering och bibliotek.

 35 timmar

Antal deltagare


Price per participant

Vittnesmål (5)

Upcoming Courses

Relaterade Kategorier