Kursplan
Kursen är uppdelad i tre olika dagar, den tredje är valfri.
Dag 1 - Machine Learning & Deep Learning: teoretiska begrepp
1. Inledning IA, Machine Learning & Deep Learning
- Historia, grundläggande begrepp och vanliga tillämpningar av artificiell intelligens långt ifrån fantasierna inom detta område
- Kollektiv intelligens: samlad kunskap som delas av många virtuella agenter
- Genetiska algoritmer: utveckla en population av virtuella agenter genom urval
- Machine Learning vanligt: definition.
- Typer de tâches: övervakat lärande, oövervakat lärande, förstärkningsinlärning
- Typer av åtgärder: klassificering, regression, klustring, densitetsuppskattning, dimensionsreduktion
- Exempel på algoritmer Machine Learning: Linjär regression, Naiv Bayes, Random Tree
- Maskininlärning VS Deep Learning: problem där maskininlärning fortfarande är den senaste tekniken idag (Random Forests & XGBoosts)
2. Grundläggande begrepp för ett neuralt nätverk (Applikation: flerskiktsperceptron)
- Påminnelse om matematiska grunder.
- Definition av ett neuralt nätverk: klassisk arkitektur, aktiverings- och viktningsfunktioner för tidigare aktiveringar, nätverkets djup
- Definition av att lära sig ett neuralt nätverk: kostnadsfunktioner, back-propagation, stokastisk gradientnedstigning, maximal sannolikhet.
- Modellering av ett neuralt nätverk: modellering av in- och utdata enligt typen av problem (regression, klassificering, etc.). dimensionalitetens förbannelse. Distinktion mellan multifunktionsdata och signal. Val av kostnadsfunktion enligt data.
- Uppskatta en funktion med hjälp av ett neuralt nätverk: presentation och exempel
- Uppskattning av en distribution med hjälp av ett neuralt nätverk: presentation och exempel
- Data Augmentation: hur man balanserar en datauppsättning
- Generalisering av resultaten av ett neuralt nätverk.
- Initialiseringar och regulariseringar av ett neuralt nätverk: L1/L2-regularisering, batchnormalisering...
- Optimeringar och konvergensalgoritmer.
3. Vanliga ML/DL-verktyg
En enkel presentation med fördelar, nackdelar, placering i ekosystemet och användning planeras.
- Datahanteringsverktyg: Apache Spark, Apache Hadoop
- Vanliga verktyg Machine Learning: Numpy, Scipy, Sci-kit
- Frameworks DL dagens nivå: PyTorch, Keras, Lasagne
- Lågnivå DL-ramverk: Theano, Torch, Caffe, Tensorflow
Dag 2 – Konvolutionella och återkommande nätverk
4. Konvolutionell Neural Networks (CNN).
- Presentation av CNN: grundläggande principer och tillämpningar
- Grundläggande drift av ett CNN: faltningslager, användning av en kärna, utfyllnad och steg, generering av funktionskartor, lager av typen "pooling". 1D, 2D och 3D förlängningar.
- Presentation av de olika CNN-arkitekturerna som har fört den senaste tekniken till bildklassificering: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentation av innovationerna från varje arkitektur och deras mer globala tillämpningar (1x1 Convolution eller restanslutningar)
- Användning av en uppmärksamhetsmodell.
- Tillämpning på ett vanligt klassificeringsscenario (text eller bild)
- CNN för generation: superupplösning, pixel-för-pixel-segmentering. Presentation av huvudstrategierna för att utöka funktionskartor för att skapa en bild.
5. Återkommande Neural Networks (RNN).
- Presentation av RNN: grundläggande principer och tillämpningar.
- Fonctionnement fondamental du RNN : dold aktivering, tillbakautbredning genom tiden, ovikt version.
- Utveckling mot GRU (Gated Recurrent Units) och LSTM (Long Short Term Memory). Presentation av de olika staterna och den utveckling som dessa arkitekturer åstadkommer
- Konvergens och försvinnande gradientproblem
- Typer av klassiska arkitekturer: Förutsägelse av en tidsserie, klassificering...
- RNN Encoder Decoder typ arkitektur. Använder en uppmärksamhetsmodell.
- Tillämpningar NLP: kodning av ord/tecken, överföring.
- Videoapplikationer: förutsägelse av nästa genererade bild av en videosekvens.
Dag 3 – Generationsmodeller och Reinforcement Learning
6. Generationsmodeller: Variational AutoEncoder (VAE) och Generative Adversarial Networks (GAN).
- Presentation av generationsmodeller, länk till CNN:er som sågs dag 2
- Auto-encode: dimensionsreducering och begränsad generering
- Variational Auto-encoder: generationsmodell och approximation av distributionen av data. Definition och användning av latent utrymme. Omparametriseringstrick. Tillämpningar och observerade gränser
- Generativa kontradiktoriska nätverk: grundläggande principer. Två-nätverksarkitektur (generator och diskriminator) med alternerande inlärning, kostnadsfunktioner tillgängliga.
- Konvergens av ett GAN och svårigheter.
- Förbättrad konvergens: Wasserstein GAN, BeGAN. Jordens rörelseavstånd.
- Applikationer för att generera bilder eller fotografier, generera text, superupplösning.
7. Djup Reinforcement Learning.
- Presentation av förstärkningsinlärning: kontroll av en agent i en miljö definierad av ett tillstånd och möjliga åtgärder
- Använda ett neuralt nätverk för att approximera tillståndsfunktionen
- Deep Q Learning: upplev repris och tillämpning för kontroll av ett videospel.
- Optimering av lärandepolicyn. On-policy && off-policy. Skådespelare kritisk arkitektur. A3C.
- Applikationer: kontroll av ett enkelt videospel eller ett digitalt system.
Krav
Ingenjörsnivå