Kom i kontakt

Kursplan

Introduktion till EXO och lokal AI-klystning

  • Översikt över EXO-ramverket och exo-explore-ekosystemet
  • Jämförelse av centraliserad molninferens mot distribuerad lokal inferens
  • Arkitektur: libp2p-enhetsupptäckt, MLX-bakgrundsgrunder, dashboard och API-skikt
  • Hårdvarukrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delat lagringsutrymme

Installera EXO på macOS

  • Inställning av Xcode, Metal ToolChain och macOS-förutsättningar
  • Installera uv, Node.js, Rust nightly-verktygslinje
  • Installera den fixerade macmon-forken för övervakning av Apple Silicon
  • Klona repository och bygga dashboarden med npm
  • Kör EXO från källkod och verifiera dashboard på localhost:52415

Installera EXO på Linux

  • Installera beroenden via apt eller Homebrew på Linux
  • Konfigurera uv, Node.js 18+ och Rust nightly
  • Bygg dashboarden och kör EXO i CPU-only-läge
  • Katalogstruktur: XDG Base Directory-sökvägar för konfiguration, data, cache och loggar

Automatisk enhetsupptäckt och klystbildning

  • Förståelse för libp2p-baserad auto-upptäckt över lokala nätverk
  • Konfigurera anpassade namnområden med EXO_LIBP2P_NAMESPACE för klystisolering
  • Verifiera nodmedlemskap i dashboardens klystvy
  • Hantera upptäcksfel och nätverkssegmenteringsproblem

Aktivera RDMA över Thunderbolt 5

  • RDMA-arkitektur och påståendet om 99 procents minskning av latens
  • Aktivera RDMA i macOS Recovery-läge med rdma_ctl
  • Kabelkrav och porttopologibegränsningar på Mac Studio
  • Matcha macOS-versioner över alla klystnoder
  • Felsöka RDMA-upptäckt och DHCP-konfiguration

Distribuera banbrytande modeller

  • Använd dashboarden för att lasta in och shard DeepSeek v3.1, Qwen3-235B och Llama-familjens modeller
  • Förhandsgranska instansplatser via API-slutpunkten /instance/previews
  • Skapa modellinstanser med pipeline- eller tensor-parallell sharding
  • Konfigurera anpassade kort från HuggingFace-hubben

Övervakning och felsökning

  • Läsa EXO-loggar och förstå distribuerad spårning
  • Tolka klysthälsa i dashboardens klystvy
  • Diagnostisera arbetar-nodfel och återanslutningsbeteende
  • Använd EXO_TRACING_ENABLED för analys av prestandabottleneck

Klystunderhåll och uppdateringar

  • Uppdatera EXO-binärer och procedurer för att bygga om dashboarden
  • Migrera modellcacher och hantera förnedladdade modeller över NFS
  • Ta bort noder schablonmässigt och balansera arbetsbelastningar

Krav

  • Förståelse för nätverksgrundläggande (IP, undernätning, brandväggar)
  • Erfarenhet av macOS- eller Linux-kommandoradsadministration
  • Kunskap om Python-pakethantering (pip/uv) och Node.js-verktyg

Publik

  • Systemadministratörer
  • DevOps-ingenjörer
  • Arkitekter för AI-infrastruktur som ansvarar för on-premise-LLM-distribution
 21 Timmar

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier