Tekniker för Parameter-Efficient Fine-Tuning (PEFT) för LLM:er Träningskurs

Introduktion till Parameter-Efficient Fine-Tuning (PEFT)

• Motivation och begränsningar med fullständig finjustering
• Översikt över PEFT: mål och fördelar
• Tillämpningar och användningsfall inom industrin

LoRA (Low-Rank Adaptation)

• Konceptet och intuitionen bakom LoRA
• Implementering av LoRA med Hugging Face och PyTorch
• Praktiskt arbete: Finjustering av en modell med LoRA

Adapter Tuning

• Hur adaptermoduler fungerar
• Integration med transformerbaserade modeller
• Praktiskt arbete: Att applicera Adapter Tuning på en transformermodell

Prefix Tuning

• Användning av mjuka prompts (soft prompts) för finjustering
• Styrkor och begränsningar jämfört med LoRA och adaptorer
• Praktiskt arbete: Prefix Tuning på en LLM-uppgift

Utvärdering och jämförelse av PEFT-metoder

• Mätetal för att utvärdera prestanda och effektivitet
• Avvägningar mellan träningstid, minnesanvändning och precision
• Genomförande av benchmark-tester och tolkning av resultat

Införande av finjusterade modeller

• Spara och läsa in finjusterade modeller
• Överväganden vid införande av PEFT-baserade modeller
• Integration i applikationer och pipelines

Rekommenderade praxis och utvidgningar

• Kombinering av PEFT med kvantisering och destillation
• Användning i resursbegränsade och flerspråkiga sammanhang
• Framtida utveckling och aktiva forskningsområden