Beslutsmodeller för självhosting: Servering, kvantisering, latens och drift Träningskurs

Deployalternativ

• Fördelar och nackdelar med hostad API jämfört med självhosting.
• Mönster för lokal infrastruktur, edge och luftspällda system.
• Enstaka modell jämfört med modellportfölj.
• Jämförelse av kostnad per beslut.

Hårdvarudimensionering och kapacitet

• Minnesförbrukning beroende på antal parametrar.
• Enbart CPU jämfört med GPU-besök.
• Planering för konkurrens och genomströmning.
• Marginal för ökad uppgiftslängd.

Serveringsstackar

• Alternativ med vLLM och SGLang.
• llama.cpp och GGUF-exekvering.
• Ollama för lokal utveckling.
• Välja baserat på beslutsarbetsbelastningens karaktär.

Kvantisering utan att tappa kalibrering

• Precisionsformat och minnessparande.
• Mätning av kvalitets- och kalibreringsförlust.
• Per-tensor- och viktighetsbaserade varianter.
• Acceptanstestning efter kvantisering.

Latensoptimering

• Medianlatens jämfört med svanslatens.
• Latensökning med kontextlängd.
• Varmstart och modellcaching.
• Batchning av flera beslutsfrågor.

Edge och resursbegränsade miljöer

• Små beslutsmodeller på CPU.
• Apple Silicon och inbäddad deploy.
• Offlinedrift och uppdateringsstrategi.
• Fördelning av vikter i luftspällda system.

Containerisering och skalning

• Design av bilder för modellservering.
• Hantering av volymer och cachar.
• Horisontell skalning och routing.
• Resursgränser och GPU-delande.

Observabilitet

• Meteringar av förfrågningar, latens och fel.
• Övervakning av självförtroendedistribution.
• Spårning av beslutsutfall och eskaleringar.
• Alertering vid kalibreringssvängningar.

Versionering och rullning

• Versionering av modeller och adaptorer.
• Skygge- och kanardeploy.
• Säkerställda modellfiler för revision.
• Återrullningsprocedurer.

Säkerhet och multi-tenancy

• Autentisering och hastighetsbegränsning.
• Isolemanter för prompts och loggar per tenant.
• Nätverksisolering och kontroll av utgående trafik.
• Revisionsspårning av beslut.