AI-ordlistan ·
Modeller och teknik

Vad är Inference server?

En inference server är en specialiserad server optimerad för att köra AI-modeller i produktion och svara på förfrågningar med låg latens och hög genomströmning. Inferensservrar hanterar uppgifter som modelloptimering, batching av förfrågningar, lastbalansering och skalning — och är det som gör det möjligt att köra stora modeller kostnadseffektivt i skala.

Exempel

NVIDIA Triton Inference Server och vLLM är populära inference-servrar för LLM:er. En LLM-baserad kundtjänstbot som hanterar tusentals chattar simultant förlitar sig på en väl konfigurerad inference server som kan batcha ihop flera förfrågningar, utnyttja GPU:erna maximalt och skala upp automatiskt vid trafiktoppar.

Läs mer

Relaterade termer

Alla AI-termer →