AI-skolan
Destillering är en teknik där en liten ”elevmodell” tränas att efterlikna svaren från en större och kraftfullare ”lärarmodell”. Målet är att få nästan samma kvalitet i en mycket mindre modell som är snabbare och billigare att köra. Tekniken är en av vägarna till små språkmodeller och räknas som en form av modellkomprimering. Eleven kan även finjusteras vidare för en särskild uppgift.
Ett företag låter en stor modell skriva tusentals exempelsvar på kundfrågor, och tränar sedan en liten modell på dem. Den lilla modellen klarar just de frågorna nästan lika bra, men kostar en bråkdel per svar — och kan köras på egen server. Kolla alltid licensvillkoren: vissa leverantörer förbjuder att deras modeller används för att träna konkurrerande modeller.
