Kursplan

Introduktion till Parameter-Effektiv Fina Justering Fine-Tuning (PEFT)

  • Motivation och begränsningar med fullständig fina justering
  • Översikt över PEFT: mål och fördelar
  • Användningsområden och användningsfall i industri

LoRA (Low-Rank Adaptation)

  • Koncept och intuition bakom LoRA
  • Implementering av LoRA med hjälp av Hugging Face och PyTorch
  • Praktiskt: Fina justering av en modell med LoRA

Adapter Justering

  • Hur adaptermoduler fungerar
  • Integration med transformerbaserade modeller
  • Praktiskt: Tillämpning av Adapter Justering på en transformerbaserad modell

Prefix Justering

  • Användning av mjuka promptar för fina justering
  • Styrkor och begränsningar i jämförelse med LoRA och adapter
  • Praktiskt: Prefix Justering på en LLM-uppgift

Utvärdering och Jämförelse av PEFT-Metoder

  • Mått för att utvärdera prestanda och effektivitet
  • Avvägningar mellan träningshastighet, minnesanvändning och noggrannhet
  • Benchmarkingsexperiment och tolkning av resultat

Distribuera Fina Justerade Modeller

  • Spara och ladda fina justerade modeller
  • Överväganden vid distribution av PEFT-baserade modeller
  • Integration i applikationer och pipelines

Bästa Praktiker och Utökningar

  • Kombinering av PEFT med kvantisering och destillation
  • Användning i lågresurs- och flerspråkiga miljöer
  • Framtida riktningar och aktiva forskningsområden

Sammanfattning och Nästa Steg

Krav

  • Förståelse för grunderna i maskininlärning
  • Erfarenhet av arbete med stora språkmodeller (LLMs)
  • Kännedom om Python och PyTorch

Målgrupp

  • Datavetare
  • AI-ingenjörer
 14 timmar

Antal deltagare


Price per participant

Upcoming Courses

Relaterade Kategorier