Kursplan
Kursen är uppdelad i tre separata dagar, varav den tredje är valfri.
Dag 1 - Machine Learning & Deep Learning: Teoretiska begrepp
1. Inledning IA, Machine Learning och Deep Learning
- Historia, grundläggande begrepp och vanliga tillämpningar av artificiell intelligens långt ifrån de fantasier som finns inom detta område
- Kollektiv intelligens: aggregera kunskap som delas av många virtuella agenter
- Genetiska algoritmer: utveckling av en population av virtuella agenter genom urval
- Machine Learning Vanligt: definition.
- Typer av uppgifter: övervakad inlärning, oövervakad inlärning, förstärkningsinlärning
- Typer av åtgärder: klassificering, regression, klustring, densitetsuppskattning, dimensionsreduktion
- Exempel på algoritmer Machine Learning: Linjär regression, Naive Bayes, Random Tree
- Maskininlärning VS Deep Learning: problem där Machine Learning fortfarande är den senaste tekniken idag (Random Forests & XGBoosts)
2. Grundläggande begrepp för ett neuralt nätverk (Tillämpning: flerskiktsperceptron)
- Påminnelse om matematiska grunder.
- Definition av ett neuralt nätverk: klassisk arkitektur, aktiverings- och viktningsfunktioner för tidigare aktiveringar, djup i ett nätverk
- Definition av träning av neurala nätverk: kostnadsfunktioner, back-propagation, stokastisk gradient descent, maximum likelihood.
- Modellering av ett neuralt nätverk: modellering av in- och utdata beroende på typ av problem (regression, klassificering, etc.). Dimensionalitetens förbannelse. Skillnad mellan multifunktionsdata och signal. Val av en kostnadsfunktion enligt data.
- Approximering av en funktion av ett neuralt nätverk: presentation och exempel
- Approximering av en distribution av ett neuralt nätverk: presentation och exempel
- Dataförstärkning: hur man balanserar en datauppsättning
- Generalisering av resultaten från ett neuralt nätverk.
- Initieringar och regulariseringar av ett neuralt nätverk: L1/L2-regularisering, batchnormalisering osv.
- Optimeringar och konvergensalgoritmer.
3. Vanliga ML/DL-verktyg
En enkel presentation med fördelar, nackdelar, position i ekosystemet och användning planeras.
- Verktyg för datahantering: Apache Spark, Apache Hadoop
- Vanliga verktyg Machine Learning: Numpy, Scipy, Sci-kit
- DL-ramverk på hög nivå: PyTorch, Keras, Lasagne
- DL-ramverk på låg nivå: Theano, Torch, Caffe, Tensorflow
Dag 2 - Faltningsnätverk och återkommande nätverk
4. Faltning Neural Networks (CNN).
- Presentation av CNN: grundläggande principer och tillämpningar
- Grundläggande funktion hos ett CNN: faltningslager, användning av en kärna, utfyllnad och steg, generering av funktionskartor, poolningslager. 1D-, 2D- och 3D-tillägg.
- Presentation av de olika CNN-arkitekturerna som har fört med sig den senaste tekniken inom bildklassificering: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentation av de innovationer som varje arkitektur medför och deras mer globala tillämpningar (1x1-faltning eller restanslutningar)
- Användning av en uppmärksamhetsmodell.
- Tillämpning på ett vanligt klassificeringsscenario (text eller bild)
- CNN för generation: superupplösning, pixel-till-pixel-segmentering. En översikt över de viktigaste strategierna för att öka funktionskartor för bildgenerering.
5. Återkommande Neural Networks (RNN).
- Presentation av RNN: grundläggande principer och tillämpningar.
- Hur RNN fungerar: dold aktivering, bakåtförökning genom tiden, utfälld version.
- Utveckling mot GRU (Gated Recurrent Units) och LSTM (Long Short Term Memory). Presentation av de olika tillstånden och den utveckling som dessa arkitekturer för med sig
- Konvergensproblem och gradient vanising
- Typer av klassiska arkitekturer: Prediktion av en tidsserie, klassificering etc.
- RNN Encoder Decoder-arkitektur. Användning av en uppmärksamhetsmodell.
- NLP-applikationer: ord-/teckenkodning, översättning.
- Videoappar: Förutse nästa genererade bildruta i en videosekvens.
Dag 3 - Generationsmodeller och Reinforcement Learning
6. Generationsmodeller: Variational AutoEncoder (VAE) och Generative Adversarial Networks (GAN).
- Presentation av generationsmodeller, koppling till CNN sett dag 2
- Automatisk kodare: minskning av dimensionalitet och begränsad generering
- Variational Auto-encoder: generationsmodell och approximation av fördelningen av en bit data. Definition och användning av latent utrymme. Knep för omparametrisering. Program och observerade begränsningar
- Generativa kontradiktoriska nätverk: Grunder. Tvågitterarkitektur (generator och diskriminator) med alternativ inlärning, kostnadsfunktioner tillgängliga.
- Konvergens av ett GAN-nätverk och svårigheter som uppstått.
- Förbättrad konvergens: Wasserstein GAN, BeGAN. Jordens rörliga avstånd.
- Applikationer för bild- eller fotogenerering, textgenerering, super-
resolution.
7. Djup Reinforcement Learning.
- Översikt över förstärkt inlärning: Styra en agent i en tillståndsdefinierad miljö och möjliga åtgärder
- Använda ett neuralt nätverk för att approximera tillståndsfunktionen
- Deep Q Learning: upplev omspelning och tillämpning på kontrollen av ett videospel.
- Optimeringar av inlärningspolicyn. On-policy och off-policy. Skådespelare kritiker arkitektur. A3C.
- Applikationer: styrning av ett enkelt videospel eller ett digitalt system.
Krav
Level ingénieur