Kom i kontakt
 Varaktighet 14 timmar

Kursplan

Introduktion till Mistral i stor skala

  • Översikt över Mistral Medium 3
  • Avvägningar mellan prestanda och kostnad
  • Överväganden för företagsstor skala

Distributionsmönster för LLM:er

  • Serveringstopologier och designval
  • På plats (on-premises) vs molndistributioner
  • Hybrida och molnstrategier (multi-cloud)

Optimeringstekniker för inferens

  • Satslagningsstrategier (batching) för hög genomströmning
  • Kvantiseringstekniker för kostnadsbesparing
  • Utnyttjande av accelerators och GPU:er

Skalbarhet och tillförlitlighet

  • Skalning av Kubernetes-klyftor för inferens
  • Lastbalansering och trafikstyrning
  • Felfördrighet och redundans

Ramverk för kostnadsoptimering

  • Mätning av inferensens kostnadseffektivitet
  • Rätt storlek på beräknings- och minnesresurser
  • Övervakning och varningssystem för optimering

Säkerhet och efterlevnad i produktion

  • Säkrande av distributioner och API:er
  • Överväganden kring datahantering
  • Regulatorisk efterlevnad i kostnadsoptimering

Kasstudier och bästa praxis

  • Referensarkitekturer för Mistral i stor skala
  • Lärdomar från företagsdistributioner
  • Trender kring effektiv LLM-inferens i framtiden

Sammanfattning och nästa steg

Krav

  • Djup förståelse för deployning av maskininlärningsmodeller
  • Erfarenhet av molninfrastruktur och distribuerade system
  • Kännedom om prestandaoptimering och strategier för kostnadseffektivitet

Målgrupp

  • Infrastrukturtekniker
  • Molnarkitekter
  • MLOps-ledare

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier