AI-skolan
Kvantisering är en teknik som gör en AI-modell mindre och snabbare genom att lagra dess tal med lägre precision, till exempel 4 eller 8 bitar i stället för 16 eller 32. Det är en av de vanligaste formerna av modellkomprimering och gör att stora språkmodeller får plats på en vanlig dator eller mobil, ofta med bara en liten kvalitetsförlust.
Exempel
En modell med många parametrar kan kräva ett dyrt grafikkort i originalskick. Kvantiserar du den till 4 bitar tar den kanske en fjärdedel av minnet och kan köras lokalt, ungefär som att spara ett foto som JPG i stället för RAW: lite detaljer försvinner, men filen blir hanterbar. Tekniken används ofta för små språkmodeller och edge-AI.
ML
Avancerat
Kod & Teknik
