Kom i kontakt

Kursplan

Introduktion till EXO och lokal AI-klastning

  • Översikt över EXO-ramverket och exo-explore-ekosystemet
  • Jämförelse av centraliserad molninferens mot distribuerad lokal inferens
  • Arkitektur: libp2p-enhetsupptäckt, MLX-backend, dashboard och API lager
  • Hårdvarukrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delad lagring

Installation av EXO på macOS

  • Inställning av Xcode, Metal ToolChain och förutsättningar för macOS
  • Installera uv, Node.js, Rust nightly-verktygslinje
  • Installera den fixade macmon-forken för övervakning av Apple Silicon
  • Klonar lagret och bygger dashboarden med npm
  • Kör EXO från källkod och verifiera dashboard på localhost:52415

Installation av EXO på Linux

  • Installera beroenden via apt eller Homebrew på Linux
  • Konfigurera uv, Node.js 18+ och Rust nightly
  • Bygga dashboarden och köra EXO i CPU-only-läge
  • Dirstruktur: XDG Base Directory-sökvägar för konfiguration, data, cache och loggar

Automatisk enhetsupptäckt och klusterbildning

  • Förståelse för libp2p-baserad auto-upptäckt över lokala nätverk
  • Konfigurera anpassade namnområden med EXO_LIBP2P_NAMESPACE för klusterisolering
  • Verifiera nod-medlemskap i dashboardens klastvy
  • Hantera misslyckad upptäckt och nätverkssegmenteringsproblem

Aktivering av RDMA över Thunderbolt 5

  • RDMA-arkitektur och påståendet om en minskning av latensen med 99 procent
  • Aktivera RDMA i macOS Recovery-läge med rdma_ctl
  • Kabelförutsättningar och porttopologibegränsningar på Mac Studio
  • Matcha macOS-versioner över alla klusternoder
  • Felsökning av RDMA-upptäckt och DHCP-konfiguration

Distribution av Banbrytande Modeller

  • Använda dashboarden för att ladda och sharda DeepSeek v3.1, Qwen3-235B och Llama-familjens modeller
  • Förhandsgranska instansplaceringar med /instance/previews API-slutpunkt
  • Skapa modellinstanser med pipeline- eller tensorparallell sharding
  • Konfigurera anpassade modelletiketter från HuggingFace hub

Övervakning och felsökning

  • Läs EXO-loggar och förstå distribuerad spårning
  • Tolka klusterhälsa i dashboardens klastvy
  • Diagnostisera arbetsnod-fel och återanslupningsbeteende
  • Använda EXO_TRACING_ENABLED för analys av prestandahalsband

Klastunderhåll och uppdateringar

  • Uppdatera EXO-binärer och procedurer för ombyggnad av dashboarden
  • Migrera modellcacher och hantera nedladdade modeller över NFS
  • Avrunda bort noder balansera arbetsbelastningar

Krav

  • Kunskap om nätverksgrunder (IP, subnettering, brandväggar)
  • Erfarenhet av command-line-administration för macOS eller Linux
  • Van vid hantering av Python-paket (pip/uv) och Node.js-verktyg

Målgrupp

  • Systemadministratörer
  • DevOps-ingenjörer
  • Arkitekter för AI-infrastruktur ansvariga för on-premise LLM-distribution
 21 Timmar

Antal deltagare


Pris per deltagare

Kommande Kurser

Relaterade Kategorier