Kom i kontakt

Kursplan

Distribution av offline-EXO

  • Användning av EXO_OFFLINE för att förhindra internetåtkomst under körning
  • Förhandsladdning av modeller i EXO_MODELS_READ_ONLY_DIRS från betrodda interna speglar
  • Verifiering av modellvikternas integritet med SHA-256-kontrollsummor och signerade modellkort
  • Köra EXO i luftgapade nätverk utan beroenden till HuggingFace

Kontroll av åtkomst till dashboard och API

  • Installera och konfigurera reverse proxies (nginx, Caddy) med TLS-avslutning
  • Implementera rollbaserad åtkomstkontroll för EXO-dashboard och REST-API
  • Använda macOS nyckelring eller Linux pass för att lagra hemligheter för API-autentisering
  • Begränsa administrativa slutpunkter till specifika käll-IP-intervall

Isolering av klysor och nätverkssäkerhet

  • Segmentera EXO-klysor med EXO_LIBP2P_NAMESPACE och VLAN:er
  • Konfigurera värdbrandväggar (macOS applikationsbrandvägg, iptables, nftables) för EXO-portar
  • Förhindra obehörig enhetsupptäckt och insprutning av svarta noder
  • Kryptera libp2p-trafik mellan noder när RDMA inte är tillgängligt

Modellstyrning och provenance

  • Bygga ett internt modellregister med listor över godkända modeller och metadata
  • Märka och versionera kvantiserade vikter (4-bit, 8-bit) tillsammans med källcheckpoints
  • Tillämpa att endast specifika HuggingFace-repotorier eller interna artifacts kan laddas
  • Dokumentera modelllinje, licensvillkor och riktlinjer för tillåten användning

Revisionsloggar och efterlevnad

  • Konfigurera EXO-loggöverföring till oföränderliga revisionsloggar (SIEM, WORM-lagring)
  • Korrelatera API-anropsloggar med användaridentitet och tidsstämpel
  • Fånga händelser för skapande, radering av modellinstanser och inferensförfrågningar
  • Generera periodiska efterlevnadsrapporter för interna och externa revisorer

Hotmodellering och incidenthantering

  • Identifiera hot: datautflöde via modelloutput, prompt-injection, läckage genom sidokanal
  • Implementera övervakning av prompts och flöden för innehållsfiltrering
  • Skapa incidenthanteringsmanualer för scenarier där klysan har kompromitterats
  • Isolera berörda noder, bevara forensiska loggar och återbygga rena miljöer

Fysisk säkerhet och hårdvarugränser

  • Säkra Thunderbolt-portar mot obehöriga RDMA-kabelförbindelser
  • Använda säkra enklaver och Apple Silicon-hårdvaruattester där det är tillämpligt
  • Kontrollera fysisk åtkomst till klustrade Mac-datorer och gemensam lagring
  • Dokumentera hårdvarulivscykeln och procedurer för nedläggning

Regulatoriska överväganden

  • Mappa EXO-distributioner mot kraven i GDPR, HIPAA och SOC 2
  • Upprighta dataresidens genom att hålla inferens internt
  • Dokumentera leverantörers försörjningskedjerisker (MLX, EXO, modellvikter)
  • Förbereda för AI-styrningssystem som EU:s AI-lag artikel 53

Krav

  • Erfarenhet av EXO eller en annan lokal LLM-runtime
  • Förståelse för Unix-filsystembehörigheter och nätverks ACL:er
  • Van vid hantering av TLS/SSL-certifikat och grundläggande kryptering

Målgrupp

  • Säkerhetsingenjörer
  • Efterlevnadsansvariga
  • AI-infrastrukturadministratörer som hanterar känslig data
 14 Timmar

Antal deltagare


Pris per deltagare

Vittnesmål (1)

Kommande Kurser

Relaterade Kategorier