Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 14 timmar
Kursplan
Introduktion till Mistral i stor skala
- Översikt över Mistral Medium 3
- Avvägningar mellan prestanda och kostnad
- Överväganden för företagsstor skala
Distributionsmönster för LLM:er
- Serveringstopologier och designval
- På plats (on-premises) vs molndistributioner
- Hybrida och molnstrategier (multi-cloud)
Optimeringstekniker för inferens
- Satslagningsstrategier (batching) för hög genomströmning
- Kvantiseringstekniker för kostnadsbesparing
- Utnyttjande av accelerators och GPU:er
Skalbarhet och tillförlitlighet
- Skalning av Kubernetes-klyftor för inferens
- Lastbalansering och trafikstyrning
- Felfördrighet och redundans
Ramverk för kostnadsoptimering
- Mätning av inferensens kostnadseffektivitet
- Rätt storlek på beräknings- och minnesresurser
- Övervakning och varningssystem för optimering
Säkerhet och efterlevnad i produktion
- Säkrande av distributioner och API:er
- Överväganden kring datahantering
- Regulatorisk efterlevnad i kostnadsoptimering
Kasstudier och bästa praxis
- Referensarkitekturer för Mistral i stor skala
- Lärdomar från företagsdistributioner
- Trender kring effektiv LLM-inferens i framtiden
Sammanfattning och nästa steg
Krav
- Djup förståelse för deployning av maskininlärningsmodeller
- Erfarenhet av molninfrastruktur och distribuerade system
- Kännedom om prestandaoptimering och strategier för kostnadseffektivitet
Målgrupp
- Infrastrukturtekniker
- Molnarkitekter
- MLOps-ledare