Kom i kontakt

Kursplan

Deployment av offline EXO

  • Användning av EXO_OFFLINE för att förhindra internetåtkomst under körning
  • Förinfodra modeller i EXO_MODELS_READ_ONLY_DIRS från betrodda interna speglingar
  • Kontrollera modellvikternas integritet med SHA-256-kontrollsummor och signerade modellkort
  • Köra EXO i luftklemmade nätverk utan beroenden mot HuggingFace

Åtkomstkontroll för dashboard och API

  • Installera och konfigurera reverse proxies (nginx, Caddy) med TLS-avslutning
  • Implementera rollbaserad åtkomstkontroll för EXO-dashboard och REST-API
  • Använda macOS-nyckelring eller Linux pass för att lagra hemligheter för API-autentisering
  • Begränsa administrativa slutpunkter till specifika käll-IP-områden

Klassisolering och nätverkssäkerhet

  • Segmentera EXO-klasser med EXO_LIBP2P_NAMESPACE och VLAN:er
  • Konfigurera värdfirewalls (macOS programvarufirewall, iptables, nftables) för EXO-portar
  • Förhindra obehörig enhetsupptäckning och inläggning av olovliga noder
  • Kryptera libp2p-trafik mellan noder när RDMA inte är tillgängligt

Modellstyrning och ursprung

  • Bygga ett internt modellregister med godkända modelllistor och metadata
  • Märka och versionera kvantifierade vikter (4-bit, 8-bit) tillsammans med ursprungskontrollpunkter
  • Hantera att endast specifika HuggingFace-repositorier eller interna artefakter kan laddas
  • Dokumentera modelllinje, licensvillkor och riktlinjer för godtagbar användning

Revisionsloggning och efterlevnad

  • Konfigurera EXO-loggforwarding till oföränderliga revisionsloggar (SIEM, WORM-lagring)
  • Korrelation av API-anropsloggar med användaridentitet och tidstämpel
  • Fånga händelser för skapande, radering och begäran om inferens för modellinstanser
  • Generera periodiska efterlevnadsrapporter för interna och externa revisorer

Hotmodellering och incidenthantering

  • Identifiera hot: dataexport genom modellutfall, promptinjektion, sidokanal-läckage
  • Implementera övervakning av prompts och pipeline för innehållsfiltrering
  • Skapa incidenthanteringsrutiner för scenarier där klassen komprometterats
  • Isolera påverkade noder, bevara forensiska loggar och återuppbygga rena miljöer

Fysisk säkerhet och hårdvarugränser

  • Säkra Thunderbolt-portar mot olovliga RDMA-kabelförbindningar
  • Använda säkra enklaver och Apple Silicon-hårdvaruattestering där det är tillämpligt
  • Kontrollera fysisk åtkomst till klassade Mac-datorer och delad lagring
  • Dokumentera hårdvarans livscykel och nedläggningsförfaranden

Regulatoriska överväganden

  • Kartlägg EXO-deploymenter mot GDPR, HIPAA och SOC 2-krav
  • Upprätthålla datamyndighetsplacering genom att behålla inferens lokalt
  • Dokumentera leverantörs supply-chain-risker (MLX, EXO, modellvikter)
  • Förbereda dig för AI-styrningsramverk såsom EU AI Act artikel 53

Krav

  • Erfarenhet av EXO eller annan lokal LLM-körningmiljö
  • Förståelse för Unix-filsystembehörigheter och nätverks-ACLs
  • Kunskap om hantering av TLS/SSL-certifikat och grundläggande kryptering

Målgrupp

  • Säkerhetsingenjörer
  • Efterlevnadsansvariga
  • AI-infrastrukturadministratörer som hanterar känslig data
 14 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (1)

Kommande Kurser

Relaterade Kategorier