Vad är
Attention (uppmärksamhetsmekanism)?

Attention är tricket som gör att en språkmodell kan avgöra vilka ord i en text som är viktigast för att förstå ett annat ord. Istället för att läsa ord för ord och glömma bort början, tittar modellen på hela texten på en gång och "lägger uppmärksamhet" på det som hänger ihop. Det är kärnan i transformer-arkitekturen som nästan alla moderna LLM:er bygger på, och det är en stor anledning till att de kan hålla ihop långa resonemang.