Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Introduktion till EXO och lokal AI-klastning
- Översikt över EXO-ramverket och exo-explore-ekosystemet
- Jämförelse av centraliserad molninferens mot distribuerad lokal inferens
- Arkitektur: libp2p-enhetsupptäckt, MLX-backend, dashboard och API lager
- Hårdvarukrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delad lagring
Installation av EXO på macOS
- Inställning av Xcode, Metal ToolChain och förutsättningar för macOS
- Installera uv, Node.js, Rust nightly-verktygslinje
- Installera den fixade macmon-forken för övervakning av Apple Silicon
- Klonar lagret och bygger dashboarden med npm
- Kör EXO från källkod och verifiera dashboard på localhost:52415
Installation av EXO på Linux
- Installera beroenden via apt eller Homebrew på Linux
- Konfigurera uv, Node.js 18+ och Rust nightly
- Bygga dashboarden och köra EXO i CPU-only-läge
- Dirstruktur: XDG Base Directory-sökvägar för konfiguration, data, cache och loggar
Automatisk enhetsupptäckt och klusterbildning
- Förståelse för libp2p-baserad auto-upptäckt över lokala nätverk
- Konfigurera anpassade namnområden med EXO_LIBP2P_NAMESPACE för klusterisolering
- Verifiera nod-medlemskap i dashboardens klastvy
- Hantera misslyckad upptäckt och nätverkssegmenteringsproblem
Aktivering av RDMA över Thunderbolt 5
- RDMA-arkitektur och påståendet om en minskning av latensen med 99 procent
- Aktivera RDMA i macOS Recovery-läge med rdma_ctl
- Kabelförutsättningar och porttopologibegränsningar på Mac Studio
- Matcha macOS-versioner över alla klusternoder
- Felsökning av RDMA-upptäckt och DHCP-konfiguration
Distribution av Banbrytande Modeller
- Använda dashboarden för att ladda och sharda DeepSeek v3.1, Qwen3-235B och Llama-familjens modeller
- Förhandsgranska instansplaceringar med /instance/previews API-slutpunkt
- Skapa modellinstanser med pipeline- eller tensorparallell sharding
- Konfigurera anpassade modelletiketter från HuggingFace hub
Övervakning och felsökning
- Läs EXO-loggar och förstå distribuerad spårning
- Tolka klusterhälsa i dashboardens klastvy
- Diagnostisera arbetsnod-fel och återanslupningsbeteende
- Använda EXO_TRACING_ENABLED för analys av prestandahalsband
Klastunderhåll och uppdateringar
- Uppdatera EXO-binärer och procedurer för ombyggnad av dashboarden
- Migrera modellcacher och hantera nedladdade modeller över NFS
- Avrunda bort noder balansera arbetsbelastningar
Krav
- Kunskap om nätverksgrunder (IP, subnettering, brandväggar)
- Erfarenhet av command-line-administration för macOS eller Linux
- Van vid hantering av Python-paket (pip/uv) och Node.js-verktyg
Målgrupp
- Systemadministratörer
- DevOps-ingenjörer
- Arkitekter för AI-infrastruktur ansvariga för on-premise LLM-distribution
21 Timmar
