AI-skolan
En token är den minsta textbit en språkmodell hanterar — ungefär ett ord eller en orddel. Modellen läser och genererar text token för token, och processen att dela upp text i tokens kallas tokenization. Antalet tokens avgör både hur mycket som ryms i modellens kontextfönster och vad ett API-anrop kostar.
Exempel
Ordet "hej" är oftast en token, medan ett långt ord som "företagsekonomi" kan delas i flera. En tumregel: 100 tokens motsvarar ungefär 75 engelska ord. Därför kostar långa prompter mer och kan slå i taket för hur mycket modellen minns.
LLM
grundläggande



