Finkunering av öppna LLM:er (LLaMA, Mistral, Qwen med flera) Träningskurs

Introduktion till öppna LLM:er

• Vad är öppna modeller och varför är de viktiga
• Översikt över LLaMA, Mistral, Qwen och andra community-modeller
• Användningsområden för privata, lokala deploymenter eller säkerhetstunga miljöer

Miljöuppställning och verktyg

• Installera och konfigurera biblioteken Transformers, Datasets och PEFT
• Välja lämplig hårdvara för finkunering
• Ladda föruttränade modeller från Hugging Face eller andra repositorys

Dataförberedelse och förbehandling

• Format för datamängder (instruktionsstyrd träning, chattdata, textendast)
• Tokenisering och hantering av sekvenser
• Skapa anpassade datamängder och datalastare

Finkuneringsmetoder

• Standard fullständig finkunering jämfört med parametrar-effektiva metoder
• Tillämpning av LoRA och QLoRA för effektiv finkunering
• Använda Trainer API för snabb experimentation

Modellutvärdering och optimering

• Bedöm finkunerade modeller med hjälp av generation- och noggrannhetsmetrik
• Hantera överanpassning, generalisering och valideringsuppsättningar
• Råd för prestandaoptimering och loggning

Distribution och privat användning

• Spara och ladda modeller för inferens
• Distribuera finkunerade modeller i säkra företagsmiljöer
• Lokala deploymenter jämfört med molnbaserade strategier

Fallstudier och användningsområden

• Exempel på företagsanvändning av LLaMA, Mistral och Qwen
• Hantering av flerspråkig och domänspecifik finkunering
• Diskussion: Avvägningar mellan öppna och stängda modeller

Sammanfattning och nästa steg