Kursplan
Del 1 – Deep Learning och DNN-koncept
Introduktion AI, Machine Learning & Deep Learning
- Historia, grundläggande begrepp och vanliga tillämpningar av artificiell intelligens långt Av de fantasier som bärs av denna domän Kollektiv intelligens: samla kunskap som delas av många virtuella agenter Genetiska algoritmer: att utveckla en population av virtuella agenter genom urval Vanlig inlärningsmaskin: definition. Typer av uppgifter: övervakad inlärning, oövervakad inlärning, förstärkningsinlärning Typer av åtgärder: klassificering, regression, klustring, densitetsuppskattning, minskning av dimensionalitet Exempel på maskininlärningsalgoritmer: Linjär regression, Naiv Bayes, Random Tree Machine learning VS Deep Learning: problem på vilken maskininlärning förblir Idag är den senaste tekniken (Random Forests & XGBoosts)
Grundläggande begrepp för ett neuralt nätverk (Applikation: flerskiktsperceptron)
- Påminnelse om matematiska grunder. Definition av ett nätverk av neuroner: klassisk arkitektur, aktivering och viktning av tidigare aktiveringar, djup av ett nätverk Definition av inlärning av ett nätverk av neuroner: funktioner för kostnad, tillbaka-propagation, Stokastisk gradientnedstigning, maximal sannolikhet. Modellering av ett neuralt nätverk: modellering av in- och utdata enligt typen av problem (regression, klassificering ...). dimensionalitetens förbannelse. Skillnad mellan multifunktionsdata och signal. Val av kostnadsfunktion enligt data. Approximation av en funktion genom ett nätverk av neuroner: presentation och exempel Approximation av en distribution genom ett nätverk av neuroner: presentation och exempel Data Augmentation: hur man balanserar en datauppsättning Generalisering av resultaten av ett nätverk av neuroner. Initialisering och regularisering av ett neuralt nätverk: L1 / L2-regularisering, batchnormaliseringsoptimering och konvergensalgoritmer
Standard ML / DL-verktyg
En enkel presentation med fördelar, nackdelar, placering i ekosystemet och användning planeras.
- Datahanteringsverktyg: Apache Spark, Apache Hadoop Tools Maskininlärning: Numpy, Scipy, Sci-kit DL ramverk på hög nivå: PyTorch, Keras, Lasagne DL-ramverk på låg nivå: Theano, Torch, Caffe, Tensorflow
Convolutional Neural Networks (CNN).
- Presentation av CNN:er: grundläggande principer och tillämpningar Grundläggande funktion av ett CNN: faltningslager, användning av en kärna, Padding & stride, generering av funktionskartor, pooling av lager. Tillägg 1D, 2D och 3D. Presentation av de olika CNN-arkitekturerna som gav det senaste inom klassificeringen Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentation av innovationer som skapats av varje arkitektur och deras mer globala tillämpningar (Convolution 1x1 eller restanslutningar) Användning av en uppmärksamhetsmodell. Tillämpning på ett vanligt klassificeringsfall (text eller bild) CNN för generering: superupplösning, pixel-till-pixel segmentering. Presentation av huvudstrategier för att öka funktionskartor för bildgenerering.
Återkommande Neural Networks (RNN).
- Presentation av RNN: grundläggande principer och tillämpningar. Grundläggande användning av RNN: dold aktivering, bakåtutbredning genom tiden, ovikt version. Utveckling mot Gated Recurrent Units (GRU) och LSTM (Long Short Term Memory). Presentation av de olika tillstånden och de evolutioner som dessa arkitekturer medför. Konvergens- och försvinnande gradientproblem Klassiska arkitekturer: Förutsägelse av en tidsserie, klassificering ... RNN Encoder Dekodertyparkitektur. Användning av en uppmärksamhetsmodell. NLP-applikationer: ord-/teckenkodning, översättning. Videoapplikationer: förutsägelse av nästa genererade bild av en videosekvens.
Generationsmodeller: Variational AutoEncoder (VAE) och Generative Adversarial Networks (GAN).
- Presentation av generationsmodellerna, länk till CNN:s Auto-encoder: reducering av dimensionalitet och begränsad generation Variational Auto-encoder: generationsmodell och approximation av fördelningen av en given. Definition och användning av latent utrymme. Omparametriseringstrick. Applikationer och observerade gränser Generativa kontradiktoriska nätverk: Grundläggande. Dubbel nätverksarkitektur (Generator och diskriminator) med alternativ inlärning, kostnadsfunktioner tillgängliga. Konvergens av ett GAN och svårigheter. Förbättrad konvergens: Wasserstein GAN, började. Jordens rörelseavstånd. Applikationer för generering av bilder eller fotografier, textgenerering, superupplösning.
Djup Reinforcement Learning.
- Presentation av förstärkningsinlärning: kontroll av en agent i en definierad miljö Genom ett tillstånd och möjliga åtgärder Användning av ett neuralt nätverk för att approximera tillståndsfunktionen Deep Q Learning: upplev repris och tillämpning för kontroll av ett videospel. Optimering av lärandepolicy. On-policy && off-policy. Skådespelare kritiker arkitektur. A3C. Applikationer: kontroll av ett enskilt videospel eller ett digitalt system.
Del 2 – Theano för Deep Learning
Theanos grunder
- Inledning Installation och konfiguration
Theano funktioner
- inputs, outputs, updates, givens
Träning och optimering av ett neuralt nätverk med hjälp av Theano
- Neural nätverksmodellering Logistisk regression dolda lager Träning av ett nätverk Dator- och klassificeringsoptimering Loggförlust
Testar modellen
Del 3 – DNN med Tensorflow
TensorFlow Grunderna
- Skapa, initiera, spara och återställa TensorFlow variabler Mata, läsa och förladda TensorFlow Data Hur man använder TensorFlow infrastruktur för att träna modeller i skala Visualisera och utvärdera modeller med TensorBoard
TensorFlow Mekanik
- Förbered datanedladdningsdata och platshållare Bygg GraphS Inference Loss Training
Från Perceptron till stöd för vektormaskiner
- Kärnor och kärntricket Maximal marginalklassificering och stödvektorer
Konstgjord Neural Networks
- Icke-linjära beslutsgränser Feedforward och återkoppling artificiella neurala nätverk Flerskiktsperceptroner Minimera kostnadsfunktionen Forward propagation Back propagation Förbättra sättet neurala nätverk lär sig
Konvolutionell Neural Networks
- Goals Modellarkitekturprinciper Kodorganisation Lansering och utbildning av modellen Utvärdera en modell
- Grundläggande introduktioner som ska ges till nedanstående moduler (Kort introduktion ska tillhandahållas baserat på tillgänglighet):
Tensorflow - Avancerad användning
Trådning och distribuerade köer TensorFlow Skriva dokumentation och dela din modell Anpassa dataläsare Manipulera TensorFlow modellfiler
TensorFlow Servering
- Introduktion Grundläggande handledning för servering Avancerad handledning för servering
Krav
Bakgrund i fysik, matematik och programmering. Engagemang i bildbehandlingsaktiviteter.
Delegaterna bör ha en tidigare förståelse för maskininlärningskoncept och bör ha arbetat med Python programmering och bibliotek.