Kom i kontakt

Kursplan

Introduktion till Parameter-efficient finetuning (PEFT)

  • Motivation och begränsningar med fullständig finetuning.
  • Översikt över PEFT: mål och fördelar.
  • Tillämpningar och användningsområden inom industrin.

LoRA (Low-Rank Adaptation)

  • Koncept och intuition bakom LoRA.
  • Implementering av LoRA med hjälp av Hugging Face och PyTorch.
  • Praktiskt: Finetuning av en modell med LoRA.

Adapter Tuning

  • Hur adaptermoduler fungerar.
  • Integration med transformerbaserade modeller.
  • Praktiskt: Tillämpning av Adapter Tuning på en transformermodell.

Prefix Tuning

  • Användning av mjuka prompts för finetuning.
  • Fördelar och begränsningar jämfört med LoRA och adapters.
  • Praktiskt: Prefix Tuning på en LLM-uppgift.

Utvärdering och jämförelse av PEFT-metoder

  • Mätetal för utvärdering av prestanda och effektivitet.
  • Kompromisser gällande träningshastighet, minnesanvändning och noggrannhet.
  • Benchmark-experiment och tolkning av resultat.

Distribution av finetunade modeller

  • Spara och ladda finetunade modeller.
  • Överväganden vid distribution av modeller baserade på PEFT.
  • Integration i applikationer och dataflöden.

Bästa praxis och tillägg

  • Kombination av PEFT med kvantisering och distillation.
  • Användning i resursfattiga och flerspråkiga miljöer.
  • Framtida utveckling och områden med aktiv forskning.

Sammanfattning och nästa steg

Krav

  • Förståelse för grundläggande begrepp inom maskininlärning.
  • Erfarenhet av att arbeta med stora språkmodeller (LLMs).
  • Kännedom om Python och PyTorch.

Målgrupp

  • Datavetare.
  • AI-ingenjörer.
 14 Timmar

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier