AI-skolan
Transformer är en neural nätverksarkitektur som introducerades av Google 2017 och revolutionerade naturlig språkbehandling. Den bygger på en mekanism kallad self-attention som gör det möjligt för modellen att väga relevansen av olika delar i en text i förhållande till varandra, oavsett hur långt ifrån varandra de befinner sig. Det är grunden för i princip alla moderna stora språkmodeller.
Exempel
När du frågar ChatGPT något komplicerat kan modellen hålla koll på sammanhanget flera stycken bakåt i konversationen — det är transformer-arkitekturens self-attention som gör detta möjligt. GPT-4, Claude och Gemini är alla byggda på varianter av transformern.
ML
LLM
Avancerat