AI-ordlistan ·
Prompter och användning

Vad är Prompt caching?

Prompt caching är en funktion som låter AI-tjänsten komma ihåg den delen av din prompt som aldrig ändras, till exempel långa instruktioner eller dokument, så att den inte behöver bearbetas om varje gång. Resultatet blir snabbare svar och lägre kostnad, ofta i storleksordningen ett par gånger billigare för den cachade delen. Funktionen är mest intressant när du bygger egna AI-appar eller kör samma systemprompt om och om igen.

Exempel

Du har en kundtjänstbot med en systemprompt på flera sidor och en stor kunskapsbas. Utan caching betalar du för att skicka allt det för varje ny fråga. Med caching läses det fasta underlaget in en gång, och bara kundens nya fråga räknas som ny token. Det sparar både tid och pengar, särskilt med stora kontextfönster.

Läs mer

Relaterade termer

Alla AI-termer →