Finjustering med reinforcement learning from human feedback (RLHF) Träningskurs
Reinforcement Learning from Human Feedback (RLHF) är en ny metod som används för att finjustera modeller som ChatGPT och andra ledande AI-system.
Den här utbildningen, som leds av en instruktör (antingen online eller på plats), riktar sig till erfarna maskininlärningsingenjörer och AI-forskare som vill använda RLHF för att finjustera stora AI-modeller för ökad prestanda, säkerhet och konsistens med mänskliga preferenser.
När utbildningen är avslutad kommer deltagarna att kunna:
- förstå de teoretiska grunderna för RLHF och varför den är avgörande för modern AI-utveckling.
- implementera belohningsmodeller baserade på mänsklig feedback för att styra processer med maskininlärning.
- finjustera stora språkmodeller med hjälp av RLHF-tekniker för att säkerställa att outputen matchar mänskliga preferenser.
- tillämpa bästa praxis för att skala RLHF-arbetsflöden för AI-system av produktionskvalitet.
Kursformat
- Interaktiv föreläsning och diskussion.
- Många övningar och praktisk träning.
- Praktisk implementation i en live-labmiljö.
Möjligheter för anpassning av kursen
- Vill du beställa en anpassad utbildning för den här kursen? Kontakta oss för att boka.
Kursplan
Introduktion till reinforcement learning from human feedback (RLHF)
- Vad är RLHF och varför är det viktigt
- Jämförelse med metoder för övervakad finjustering
- RLHF:s tillämpningar i moderna AI-system
Belohningsmodellering med mänsklig feedback
- Insamling och strukturering av mänsklig feedback
- Byggande och träning av belohningsmodeller
- Utvärdering av belohningsmodellernas effektivitet
Träning med Proximal Policy Optimization (PPO)
- Översikt över PPO-algoritmer för RLHF
- Implementation av PPO med belohningsmodeller
- Iterativ och säker finjustering av modeller
Praktisk finjustering av språkmodeller
- Förberedelse av datamängder för RLHF-arbetsflöden
- Praktisk finjustering av en liten LLM med hjälp av RLHF
- Utmaningar och mitigeringsstrategier
Skalning av RLHF till produktionsystem
- Infrastruktur- och beräkningsöverväganden
- Kvalitetskontroll och kontinuerliga feedbacksluten
- Bästa praxis för implementation och underhåll
Ethiska överväganden och avbrott av partiskhet
- Hantering av etiska risker i mänsklig feedback
- Strategier för att upptäcka och korrigera partiskhet
- Säkerställande av konsistens och säkra outputer
Fallstudier och exempel från verkligheten
- Fallstudie: Finjustering av ChatGPT med RLHF
- Andra lyckade implementeringar av RLHF
- Läxor och branschinsikter
Krav
- Grundläggande kunskaper om övervakat lärande och maskininlärning
- Erfarenhet av modellfinjustering och neurala nätverksarkitekturer
- Kunskaper om Python-programmering och deep learning-ramverk (t.ex. TensorFlow, PyTorch)
Målgrupp
- Maskininlärningsingenjörer
- AI-forskare
Öppna Utbildningskurser kräver 5+ deltagare.
Finjustering med reinforcement learning from human feedback (RLHF) Träningskurs - Bokning
Finjustering med reinforcement learning from human feedback (RLHF) Träningskurs - Fråga
Finjustering med reinforcement learning from human feedback (RLHF) - Konsultfråga
Kommande Kurser
Relaterade Kurser
Avancerad finslipning & prompthantering i Vertex AI
14 TimmarDen här lärarledda utbildningen inom Sverige behandlar avancerad finslipning och prompthantering i Vertex AI, och hjälper praktiker på mellan- och avancerad nivå att optimera Gemini-modeller, implementera stringent utvärderingsarbete samt leverera tillförlitliga generativa AI-lösningar för verkliga enterprise-miljöer.
Avancerade tekniker i transferlärande
14 TimmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till maskininlärningsproffs på avancerad nivå som vill behärska banbrytande överföringsinlärningstekniker och tillämpa dem på komplexa verkliga problem.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå avancerade begrepp och metoder inom överföringsinlärning.
- Implementera domänspecifika anpassningstekniker för förtränade modeller.
- Tillämpa kontinuerlig inlärning för att hantera föränderliga uppgifter och datauppsättningar.
- Bemästra finjustering av flera uppgifter för att förbättra modellens prestanda mellan uppgifter.
Continual Learning and Model Update Strategies for Fine-Tuned Models
14 TimmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till avancerade AI-underhållstekniker och MLOps professionella som vill implementera robusta kontinuerliga inlärningspipelines och effektiva uppdateringsstrategier för utplacerade, finjusterade modeller.
Efter denna utbildning kommer deltagarna att kunna:
- Designa och implementera kontinuerliga inlärningsarbetsflöden för utplacerade modeller.
- Minska katastrofalt glömska genom korrekt träning och minneshantering.
- Automatisera övervakning och uppdateringsutlösare baserat på modellavvikelser eller dataförändringar.
- Integrera modelluppdateringsstrategier i befintliga CI/CD- och MLOps pipelines.
Införande av Fina Anpassade Modeller i Produktion
21 TimmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till proffs på avancerad nivå som vill distribuera finjusterade modeller på ett tillförlitligt och effektivt sätt.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå utmaningarna med att distribuera finjusterade modeller till produktion.
- Containerisera och distribuera modeller med hjälp av verktyg som Docker och Kubernetes.
- Implementera övervakning och loggning för distribuerade modeller.
- Optimera modeller för svarstid och skalbarhet i verkliga scenarier.
Domänspecifik finjustering för finans
21 TimmarDen här instruktörledda, direkta utbildningen i Sverige (online eller på plats) riktar sig till yrkesverksamma med mellannivåkunskaper som vill förvärva praktiska färdigheter i att anpassa AI-modeller för avgörande finansiella uppgifter.
När utbildningen är klar kommer deltagarna att kunna:
- Förstå grundprinciperna för finjustering för finansiella tillämpningar.
- Utnyttja förtränade modeller för domänspecifika uppgifter inom finans.
- Tillämpa tekniker för bedrägeribekämpning, riskbedömning och generering av finansiella råd.
- Säkerställa efterlevnad av finansiella regler såsom GDPR och SOX.
- Införa datasekuritet och etiska AI-praktiker i finansiella tillämpningar.
Fintuning av modeller och stora språkmodeller (LLM)
14 TimmarDenna instruktionsledda, live-utbildning i Sverige (online eller på plats) vänder sig till professionella på mellannivå till avancerad nivå som önskar att anpassa förtränade modeller för specifika uppgifter och dataset.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå principerna bakom fintuning och dess tillämpningar.
- Förbereda dataset för fintuning av förtränade modeller.
- Fintuna stora språkmodeller (LLM) för NLP-uppgifter.
- Optimera modellprestanda och hantera vanliga utmaningar.
Efficient Fine-Tuning with Low-Rank Adaptation (LoRA)
14 TimmarDenna instruktörsledda, liveträning i Sverige (online eller på plats) riktar sig till utvecklare på mellannivå och AI-utövare som vill implementera finjusteringsstrategier för stora modeller utan behov av omfattande beräkningsresurser.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå principerna för Low-Rank Adaptation (LoRA).
- Implementera LoRA för effektiv finjustering av stora modeller.
- Optimera finjustering för resursbegränsade miljöer.
- Utvärdera och distribuera LoRA-avstämda modeller för praktiska tillämpningar.
Fine-Tuning Multimodal Models
28 TimmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till proffs på avancerad nivå som vill behärska finjustering av multimodala modeller för innovativa AI-lösningar.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå arkitekturen för multimodala modeller som CLIP och Flamingo.
- Förbered och förbearbeta multimodala datauppsättningar effektivt.
- Finjustera multimodala modeller för specifika uppgifter.
- Optimera modeller för verkliga program och prestanda.
Fine-Tuning for Natural Language Processing (NLP)
21 TimmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till yrkesverksamma på mellannivå som vill förbättra sina NLP-projekt genom effektiv finjustering av förtränade språkmodeller.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå grunderna för finjustering för NLP-uppgifter.
- Finjustera förtränade modeller som GPT, BERT och T5 för specifika NLP-applikationer.
- Optimera hyperparametrar för bättre modellprestanda.
- Utvärdera och distribuera finjusterade modeller i verkliga scenarier.
Finjustering av AI för finansiella tjänster: riskprediktion och bedrägeridetektering
14 TimmarDetta instruktörledda, live-träning i Sverige (online eller på plats) riktas till avancerade datavetare och AI-ingenjörer i finanssektorn som vill finjustera modeller för tillämpningar såsom kreditscore, bedrägeridetektering och riskmodellering med domänsspecifika finansiella data.
Efter denna träning kommer deltagarna att kunna:
- Finjustera AI-modeller på finansdata för förbättrad bedrägeri- och riskprediktion.
- Använda tekniker som överföringsinlärning, LoRA och regularisering för att förbättra modellens effektivitet.
- Integrera finansiella komplianceaspekter i AI-modelleringsarbetsflödet.
- Distribuera finjusterade modeller för produktionsanvändning i finanstjänstepaltformar.
Finjustering av AI för hälsosjukvården: Medicinsk diagnos och prediktiv analys
14 TimmarDenna instruktörsguidade, live-träning i Sverige (online eller på plats) är riktad till mellannivå- till avanceradnivåmedarbetare inom medicinsk AI-utveckling och data science som vill finjustera modeller för klinisk diagnos, sjukdomsprediktion och prognoser för patientutgångar med strukturerade och ostrukturerade medicinska data.
Efter denna träning kommer deltagarna att kunna:
- Finjustera AI-modeller på hälso- och sjukvårdsdatauppsättningar, inklusive EMRs, bildning och tidsserie data.
- Tillämpa överföringsinlärning, domänanpassning och modellkomprimering i medicinska sammanhang.
- Hantera sekretess, bias och regelverksnära efterlevnad vid modellutveckling.
- Distribuera och övervaka finjusterade modeller i verkliga hälso- och sjukvårds miljöer.
Fine-Tuning DeepSeek LLM för anpassade AI-modeller
21 TimmarDenna instruktörsledda, liveutbildning (online eller på plats) riktar sig till avancerade AI-forskare, maskininlärningsingenjörer och utvecklare som vill anpassa DeepSeek LLM-modeller för att skapa specialiserade AI-applikationer anpassade för specifika branscher, områden eller företagsbehov.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå arkitekturen och kapaciteten hos DeepSeek-modeller, inklusive DeepSeek-R1 och DeepSeek-V3.
- Förbereda datamängder och förbehandla data för anpassning.
- Anpassa DeepSeek LLM för domänspecifika applikationer.
- Optimerar och distribuerar anpassade modeller effektivt.
Fine-Tuning av Defense AI för Autonoma System och Övervakning
14 TimmarDenna instruktörsledda, liveutbildning på Sverige (online eller på plats) riktar sig till avancerade försvar-AI-ingenjörer och militärteknikutvecklare som vill finjusterar djupinlärningsmodeller för användning i autonoma fordon, drönare och övervakningssystem, samtidigt som stränga säkerhets- och pålitlighetsstandarder uppfylls.
Vid slutet av denna utbildning kommer deltagarna att kunna:
- Finjusterar datorseende och sensorfusionsmodeller för övervaknings- och målsökningssyften.
- Anpassa autonoma AI-system till föränderliga miljöer och uppdragsprofiler.
- Implementera robusta validerings- och säkerhetsmekanismer i modellpipelines.
- Säkerställa överensstämmelse med försvarsrelaterade krav, säkerhets- och säkerhetsstandarder.
Finetuning av juridiska AI-modeller: Kontraktsgranskning och juridisk forskning
14 TimmarDenna instruktörsledda, live-utbildning (online eller på plats) riktar sig till juridiska teknologer och AI-utvecklare på mellan nivå som vill finjustera språkmodeller för uppgifter som kontraktanalys, klausulextraktion och automatiserad juridisk forskning i juridiska tjänstemiljöer.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förbereda och rensa juridiska dokument för finjustering av NLP-modeller.
- Använda finjusteringstekniker för att förbättra modellernas noggrannhet för juridiska uppgifter.
- Distribuera modeller för att hjälpa till med kontraktgranskning, klassificering och forskning.
- Säkerställa överensstämmelse, granskbarhet och spårbarhet för AI-utdata i juridiska sammanhang.
Finjustering av stora språkmodeller med QLoRA
14 TimmarDenna handledningsskickad, live-träningskurs i Sverige (online eller på plats) riktar sig till mellan- och avancerade nivåns maskininlärningsingenjörer, AI-utvecklare och datawissenschaftler som vill lära sig hur man använder QLoRA för att effektivt finjustera stora modeller för specifika uppgifter och anpassningar.
Till slut av denna träningskurs kommer deltagarna kunna:
- Förstå teorin bakom QLoRA och kvantiseringstekniker för LLMs.
- Implementera QLoRA i finjustering av stora språkmodeller för domänsspecifika tillämpningar.
- Optimera finjusteringsprestanda på begränsade beräkningsresurser med hjälp av kvantisering.
- Distribuera och utvärdera finjusterade modeller effektivt i praktiska tillämpningar.
