Top-p och top-k är två inställningar som styr hur en språkmodell väljer nästa ord, eller rättare sagt nästa token. Med top-k väljer modellen bara bland de k mest sannolika alternativen, till exempel de 40 främsta. Med top-p, även kallat nucleus sampling, väljer den bland de alternativ som tillsammans når en viss sannolikhet, till exempel 90 procent. Lågt värde ger säkrare och mer förutsägbara svar, högre värde ger större variation. De används ofta tillsammans med temperatur och räknas till modellens hyperparametrar.
Du ber en språkmodell ta fram tio slogans till ett kafé. Med låg top-p får du ungefär samma trygga förslag varje gång. Med högre top-p och högre temperatur blir förslagen mer varierade, och ibland överraskande. För faktatexter och sammanfattningar passar låga värden bäst, för idéer och kreativt skrivande passar högre. I chattappar går det oftast inte att ändra, men många API:er och verktyg för utvecklare låter dig göra det.



