Kursplan

Introduktion till Mistral i Stor Skala

  • Översikt över Mistral Medium 3
  • Prestanda mot kostnadshandikapp
  • Överväganden för företagsstorlek

Distributionsmönster för LLMs

  • Serving-topologier och designval
  • On-premises mot molnbaserade distributioner
  • Hybrid- och multi-molnstrategier

Optimeringstekniker för inferens

  • Batchningsstrategier för hög genomströmning
  • Kvantiseringsmetoder för kostnadsreduktion
  • Användning av acceleratorer och GPU

Skalbarhet och Tillförlitlighet

  • Skalning av Kubernetes-kluster för inferens
  • Lastbalansering och trafikruttering
  • Fel tolerance och redundans

Kostnadsingenjörsramverk

  • Mätning av effektivitet i inferenskostnader
  • Rätt storlek på beräknings- och minnesresurser
  • Övervakning och varningar för optimering

Säkerhet och Konformitet i Produktion

  • Säkring av distributioner och API:er
  • Överväganden för datastyrning
  • Regelbundenhet i kostnadsingenjör

Fallstudier och Bäst Praktik

  • Referensarkitekturer för Mistral i stor skala
  • Lärdomar från företagsdistributioner
  • Framtida trender i effektiv LLM-inferens

Sammanfattning och Nästa Steg

Krav

  • Stark förståelse för distribution av maskininlärningsmodeller
  • Erfarenhet av molninfrastruktur och distribuerade system
  • Kunskap om prestandajustering och strategier för kostnadseffektivitet

Målgrupp

  • Infrastrukturingenjörer
  • Molnarkitekter
  • MLOps-leder
 14 timmar

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier