Kursplan
Introduktion till förstärkningsinlärning och agens AI
- Beslutsfattande under osäkerhet och sekventiell planering
- Nyckelkomponenter i RL: agenter, miljöer, tillstånd och belönningar
- Rollen av RL i anpassade och agens AI-system
Markov Decision Processes (MDPs)
- Formell definition och egenskaper hos MDPs
- Värdfunktioner, Bellman-ekvationer och dynamisk programmering
- Policievalutering, förbättring och iteration
Modellfri förstärkningsinlärning
- Monte Carlo- och Temporal-Difference (TD)-inlärning
- Q-lärande och SARSA
- Övning: implementera tabellbaserade RL-metoder i Python
Djup förstärkningsinlärning
- Kombinering av neuronnät med RL för funktionsapproximation
- Deep Q-Networks (DQN) och erfarenhetsåterkallning
- Aktör-kritiker-arkitekturer och policigradienter
- Övning: träningsagent med DQN och PPO med Stable-Baselines3
Utforskningstrategier och belöningsformatering
- Balans mellan utforskning och exploatering (ε-greedy, UCB, entropimetoder)
- Design av belöningsfunktioner och undvikande av oväntade beteenden
- Belöningsformatering och curriculum-inlärning
Avancerade ämnen inom RL och beslutsfattande
- Förstärkningsinlärning med flera agenter och kooperativa strategier
- Hierarkisk förstärkningsinlärning och optionsramverk
- Offline RL och imitation learning för säkrare implementering
Simuleringsmiljöer och utvärdering
- Användning av OpenAI Gym och anpassade miljöer
- Kontinuerliga vs. diskreta åtgärdsutrymmen
- Metrik för agenterförmåga, stabilitet och exempelförbrukningseffektivitet
Integrering av RL i agens AI-system
- Kombinering av resonemang och RL i hybridagentarkitekturer
- Integrering av förstärkningsinlärning med verktygsanvändande agenter
- Driftsöverväganden vid skalning och implementering
Examensprojekt
- Designa och implementera en förstärkningsinlärningsagent för ett simulerat uppdrag
- Analysera träningsprestanda och optimera hyperparametrar
- Visa adaptivt beteende och beslutsfattande i en agenskontext
Sammanfattning och nästa steg
Krav
- Starka kunskaper i Python-programmering
- Solider förståelse för maskininlärnings- och djupinlärningskoncept
- Bekantskap med linjär algebra, sannolikhetslära och grundläggande optimeringsmetoder
Målgrupp
- Inlärningsingenjörer för förstärkningsinlärning och tillämpade AI-forskare
- Utvecklare inom robotteknik och automatisering
- Ingenjörsteam som arbetar med anpassade och agens AI-system
Vittnesmål (3)
God blandning av kunskap och praktik
Ion Mironescu - Facultatea S.A.I.A.P.M.
Kurs - Agentic AI for Enterprise Applications
Maskintolkat
Blandningen av teori och praktik samt av högnivå- och lågnivåperspektiv
Ion Mironescu - Facultatea S.A.I.A.P.M.
Kurs - Autonomous Decision-Making with Agentic AI
Maskintolkat
Praktiska övningar
Daniel - Facultatea S.A.I.A.P.M.
Kurs - Agentic AI in Multi-Agent Systems
Maskintolkat