AI-skolan

Vad är
Token

En token är den minsta textbit en språkmodell hanterar — ungefär ett ord eller en orddel. Modellen läser och genererar text token för token, och processen att dela upp text i tokens kallas tokenization. Antalet tokens avgör både hur mycket som ryms i modellens kontextfönster och vad ett API-anrop kostar.

Exempel

Ordet "hej" är oftast en token, medan ett långt ord som "företagsekonomi" kan delas i flera. En tumregel: 100 tokens motsvarar ungefär 75 engelska ord. Därför kostar långa prompter mer och kan slå i taket för hur mycket modellen minns.

LLM
grundläggande