Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 14 timmar
Kursplan
AI-suveränitet och lokal deployment av LLM:er
- Risker med molnbaserade LLM:er: dataavlagring, träning på inmatningar, utländsk jurisdiktion.
- Ollamas arkitektur: modelserver, registry och OpenAI-kompatibelt API.
- Jämförelse med vLLM, llama.cpp och Text Generation Inference.
- Modelllicensiering: villkor för Llama, Mistral, Qwen och Gemma.
Installation och hårdvaruinställning
- Installation av Ollama på Linux med stöd för CUDA och ROCm.
- Resurserbaserad återförsäljning och AVX/AVX2-optimering.
- Docker-deployment och mapping av persistenta volymer.
- Konfiguration av flergpu-uppsättning och strategier för VRAM-allokering.
Modelhantering
- Hämta modeller från Ollama-registret: ollama pull llama3.
- Importer GGUF-modeller från HuggingFace och TheBloke.
- Kvantiseringstillstånd: Q4_K_M, Q5_K_M, Q8_0 – fördelar och nackdelar.
- Bytning av modeller och begränsningar vid samtidiga modellinläsningar.
Anpassade Modelfiler
- Skriva Modelfil-syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Justering av temperatur, top_p och repeat_penalty.
- Systeminmatningsdesign för rollspecifika beteenden.
- Skapa och publicera anpassade modeller till lokalt registry.
API-integration
- OpenAI-kompatibel /v1/chat/completions-slutpunkt.
- Strömmande svar och JSON-läge.
- Integration med LangChain, LlamaIndex och egna appar.
- Autentisering och hastighetsbegränsning med reverse proxy.
Prestandaoptimering
- Storleksbestämning av kontextfönster och hantering av KV-cache.
- Batchinferens och hantering av parallella förfrågningar.
- Allokering av CPU-trådar och NUMA-medvetenhet.
- Övervakning av GPU-utilisering och minnespress.
Säkerhet och compliance
- Nätverksisolering för modelserver-slutpunkter.
- Inmatningsfiltrering och utmatningsmoderation.
- Auditloggning av inmatningar och kompletteringar.
- Modelherkomst och hashverifiering.
Krav
- Mellanliggande kunskaper i Linux och containeradministration.
- Förståelse för maskininlärning och transformermodeller på högre nivå.
- Kunskap om REST-API:er och JSON.
Målgrupp
- AI-ingenjörer och utvecklare som byter ut molnbaserade LLM-API:er.
- Organisationer vars datakänslighet förhindrar användning av molnbaserade modeller.
- Regierungs- och försvarstjänst som kräver luftisolerade språkmodeller.
