AI-skolan
Mixture of experts (MoE) är en arkitektur där en stor språkmodell består av många mindre ”experter”, och bara en liten del av dem aktiveras för varje token som bearbetas. En inbyggd router väljer vilka experter som passar just det ordet eller den uppgiften. Resultatet är en modell med enormt många parametrar som ändå går snabbare och blir billigare att köra, eftersom bara en bråkdel används åt gången. Många av dagens stora modeller bygger på varianter av idén ovanpå en transformer.
Tänk dig ett sjukhus där en receptionist skickar varje patient till rätt specialist i stället för att alla läkare tittar på alla patienter. MoE fungerar likadant: routern skickar varje token till de experter som är bäst lämpade, vilket sparar tid och beräkningskraft.
