Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Träningskurs
Parameter-Efficient Fine-Tuning (PEFT) is a collection of techniques that enable efficient adaptation of large language models (LLMs) by modifying only a small subset of parameters.
This instructor-led, live training (online or onsite) is aimed at intermediate-level data scientists and AI engineers who wish to fine-tune large language models more affordably and efficiently using methods like LoRA, Adapter Tuning, and Prefix Tuning.
By the end of this training, participants will be able to:
- Understand the theory behind parameter-efficient fine-tuning approaches.
- Implement LoRA, Adapter Tuning, and Prefix Tuning using Hugging Face PEFT.
- Compare performance and cost trade-offs of PEFT methods vs. full fine-tuning.
- Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Kursplan
Introduction to Parameter-Efficient Fine-Tuning (PEFT)
- Motivation and limitations of full fine-tuning
- Overview of PEFT: goals and benefits
- Applications and use cases in industry
LoRA (Low-Rank Adaptation)
- Concept and intuition behind LoRA
- Implementing LoRA using Hugging Face and PyTorch
- Hands-on: Fine-tuning a model with LoRA
Adapter Tuning
- How adapter modules work
- Integration with transformer-based models
- Hands-on: Applying Adapter Tuning to a transformer model
Prefix Tuning
- Using soft prompts for fine-tuning
- Strengths and limitations compared to LoRA and adapters
- Hands-on: Prefix Tuning on an LLM task
Evaluating and Comparing PEFT Methods
- Metrics for evaluating performance and efficiency
- Trade-offs in training speed, memory usage, and accuracy
- Benchmarking experiments and result interpretation
Deploying Fine-Tuned Models
- Saving and loading fine-tuned models
- Deployment considerations for PEFT-based models
- Integrating into applications and pipelines
Best Practices and Extensions
- Combining PEFT with quantization and distillation
- Use in low-resource and multilingual settings
- Future directions and active research areas
Summary and Next Steps
Krav
- An understanding of machine learning fundamentals
- Experience working with large language models (LLMs)
- Familiarity with Python and PyTorch
Audience
- Data scientists
- AI engineers
Open Training Courses require 5+ participants.
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Träningskurs - Booking
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Träningskurs - Enquiry
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Consultancy Enquiry
Consultancy Enquiry
Upcoming Courses
Relaterade Kurser
Advanced Techniques in Transfer Learning
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till maskininlärningsproffs på avancerad nivå som vill behärska banbrytande överföringsinlärningstekniker och tillämpa dem på komplexa verkliga problem.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå avancerade begrepp och metoder inom överföringsinlärning.
- Implementera domänspecifika anpassningstekniker för förtränade modeller.
- Tillämpa kontinuerlig inlärning för att hantera föränderliga uppgifter och datauppsättningar.
- Bemästra finjustering av flera uppgifter för att förbättra modellens prestanda mellan uppgifter.
AI Automation with n8n and LangChain
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till utvecklare och IT-proffs på alla nivåer som vill automatisera uppgifter och processer med hjälp av AI utan att skriva omfattande kod.
I slutet av denna utbildning kommer deltagarna att kunna:
- Designa och implementera komplexa arbetsflöden med hjälp av n8n:s visuella programmeringsgränssnitt.
- Integrera AI-funktioner i arbetsflöden med hjälp av LangChain.
- Bygg anpassade chatbots och virtuella assistenter för olika användningsfall.
- Utför avancerad dataanalys och bearbetning med AI-agenter.
Automating Workflows with LangChain and APIs
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till affärsanalytiker och automationsingenjörer på nybörjarnivå som vill förstå hur man använder LangChain och API:er för att automatisera repetitiva uppgifter och arbetsflöden.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå grunderna i API-integration med LangChain.
- Automatisera repetitiva arbetsflöden med hjälp av LangChain och Python.
- Använd LangChain för att ansluta olika API:er för effektiva affärsprocesser.
- Skapa och automatisera anpassade arbetsflöden med hjälp av API:er och LangChain:s automatiseringsfunktioner.
Building Conversational Agents with LangChain
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till yrkesverksamma på mellannivå som vill fördjupa sin förståelse för konversationsagenter och tillämpa LangChain på verkliga användningsfall.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå grunderna i LangChain och dess tillämpning för att skapa konversationsagenter.
- Utveckla och distribuera konversationsagenter med hjälp av LangChain.
- Integrera konversationsagenter med API:er och externa tjänster.
- Tillämpa Natural Language Processing (NLP) tekniker för att förbättra prestationen hos konversationsagenter.
Building Private AI Workflows with Ollama
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till avancerade yrkesverksamma som vill implementera säkra och effektiva AI-drivna arbetsflöden med hjälp av Ollama.
I slutet av utbildningen kommer deltagarna att kunna:
- Distribuera och konfigurera Ollama för privat AI-bearbetning.
- Integrera AI-modeller i säkra företagsarbetsflöden.
- Optimera AI-prestanda samtidigt som datasekretessen upprätthålls.
- Automatisera affärsprocesser med on-premise AI-funktioner.
- Säkerställa efterlevnad av företagets säkerhets- och styrningspolicyer.
Deploying Fine-Tuned Models in Production
21 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till proffs på avancerad nivå som vill distribuera finjusterade modeller på ett tillförlitligt och effektivt sätt.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå utmaningarna med att distribuera finjusterade modeller till produktion.
- Containerisera och distribuera modeller med hjälp av verktyg som Docker och Kubernetes.
- Implementera övervakning och loggning för distribuerade modeller.
- Optimera modeller för svarstid och skalbarhet i verkliga scenarier.
Deploying and Optimizing LLMs with Ollama
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till professionella på mellannivå som vill distribuera, optimera och integrera LLM:er med hjälp av Ollama.
I slutet av utbildningen kommer deltagarna att kunna:
- Konfigurera och distribuera LLM:er med hjälp av Ollama.
- Optimera AI-modeller för prestanda och effektivitet.
- Utnyttja GPU-acceleration för förbättrade inferenshastigheter.
- Integrera Ollama i arbetsflöden och applikationer.
- Övervaka och underhålla AI-modellernas prestanda över tid.
Ethical Considerations in AI Development with LangChain
21 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till AI-forskare och beslutsfattare på avancerad nivå som vill utforska de etiska konsekvenserna av AI-utveckling och lära sig hur man tillämpar etiska riktlinjer när man bygger AI-lösningar med LangChain.
I slutet av denna utbildning kommer deltagarna att kunna:
- Identifiera viktiga etiska frågor inom AI-utveckling med LangChain.
- Förstå hur AI påverkar samhället och beslutsprocesser.
- Utveckla strategier för att bygga rättvisa och transparenta AI-system.
- Implementera etiska AI-riktlinjer i LangChain-baserade projekt.
Enhancing User Experience with LangChain in Web Apps
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till webbutvecklare och UX-designers på mellannivå som vill utnyttja LangChain för att skapa intuitiva och användarvänliga webbapplikationer.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå de grundläggande begreppen i LangChain och dess roll för att förbättra webbanvändarupplevelsen.
- Implementera LangChain i webbappar för att skapa dynamiska och responsiva gränssnitt.
- Integrera API:er i webbappar för att förbättra interaktivitet och användarengagemang.
- Optimera användarupplevelsen med hjälp av LangChain:s avancerade anpassningsfunktioner.
- Analysera data om användarbeteende för att finjustera webbappens prestanda och upplevelse.
Fine-Tuning and Customizing AI Models on Ollama
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till avancerade professionella som vill finjustera och anpassa AI-modeller på Ollama för förbättrad prestanda och domänspecifika applikationer.
I slutet av utbildningen kommer deltagarna att kunna:
- Konfigurera en effektiv miljö för finjustering av AI-modeller på Ollama.
- Förbereda dataset för övervakad finjustering och förstärkningsinlärning.
- Optimera AI-modeller för prestanda, noggrannhet och effektivitet.
- Distribuera anpassade modeller i produktionsmiljöer.
- Utvärdera modellförbättringar och säkerställa robusthet.
LangChain: Building AI-Powered Applications
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till utvecklare och mjukvaruingenjörer på mellannivå som vill bygga AI-drivna applikationer med hjälp av LangChain-ramverket.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå grunderna i LangChain och dess komponenter.
- Integrera LangChain med stora språkmodeller (LLM) som GPT-4.
- Bygg modulära AI-applikationer med LangChain.
- Felsök vanliga problem i LangChain-program.
Integrating LangChain with Cloud Services
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataingenjörer på avancerad nivå och DevOps proffs som vill utnyttja LangChain:s kapacitet genom att integrera den med olika molntjänster.
I slutet av denna utbildning kommer deltagarna att kunna:
- Integrera LangChain med stora molnplattformar som AWS, Azure och Google Cloud.
- Använd molnbaserade API:er och tjänster för att förbättra LangChain-drivna applikationer.
- Skala och distribuera konversationsagenter till molnet för interaktion i realtid.
- Implementera metodtips för övervakning och säkerhet i molnmiljöer.
LangChain for Data Analysis and Visualization
14 timmarDenna instruktörsledda, liveutbildning i Sverige (online eller på plats) riktar sig till dataproffs på mellannivå som vill använda LangChain för att förbättra sina dataanalys- och visualiseringsfunktioner.
I slutet av denna utbildning kommer deltagarna att kunna:
- Automatisera hämtning och rensning av data med hjälp av LangChain.
- Genomför avancerad dataanalys med hjälp av Python och LangChain.
- Skapa visualiseringar med Matplotlib och andra Python bibliotek som är integrerade med LangChain.
- Utnyttja LangChain för att generera insikter på naturligt språk från dataanalys.
LangChain Fundamentals
14 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till utvecklare och mjukvaruingenjörer på nybörjarnivå till mellannivå som vill lära sig kärnkoncepten och arkitekturen i LangChain och få de praktiska färdigheterna för att bygga AI-drivna applikationer.
I slutet av denna utbildning kommer deltagarna att kunna:
- Förstå de grundläggande principerna för LangChain.
- Konfigurera och konfigurera LangChain-miljön.
- Förstå arkitekturen och hur LangChain interagerar med stora språkmodeller (LLM).
- Utveckla enkla applikationer med hjälp av LangChain.
Getting Started with Ollama: Running Local AI Models
7 timmarDenna instruktörsledda, live-utbildning i Sverige (online eller på plats) riktar sig till nybörjare som vill installera, konfigurera och använda Ollama för att köra AI-modeller på sina lokala datorer.
I slutet av utbildningen kommer deltagarna att kunna:
- Förstå grunderna i Ollama och dess möjligheter.
- Konfigurera Ollama för att köra lokala AI-modeller.
- Distribuera och interagera med LLM:er med hjälp av Ollama.
- Optimera prestanda och resursanvändning för AI-arbetsbelastningar.
- Utforska användningsfall för lokal AI-distribution i olika branscher.