AI-skolan
Test-time compute betyder att en AI-modell får lägga mer räknekraft och tid på att tänka just när den svarar, i stället för att bara bli bättre genom mer träning. Det är grunden för resonerande modeller och förklarar varför samma modell kan ge bättre svar på svåra frågor när den får ”tänka längre”, till priset av högre kostnad och längre väntetid.
Exempel
Ställ en knepig mattefråga till en modell med låg tänkenivå och du får ett snabbt, ibland felaktigt svar. Höj tänkenivån och modellen testar flera lösningsvägar, kontrollerar sig själv och använder fler tokens på vägen. Det liknar chain-of-thought men sker automatiskt under inferensen. Flera leverantörer låter dig själv reglera hur mycket modellen får tänka.
ML
Avancerat
LLM
