AI-skolan
On-device AI betyder att AI-modellen körs direkt på din telefon, dator eller annan enhet i stället för på en server i molnet. Din data behöver då inte lämna enheten, och det fungerar ofta även utan internet.
Det går tack vare små, effektiva modeller, så kallade SLM, ofta nedkortade med kvantisering. Det är en form av edge computing och fördelarna är integritet, snabbhet och lägre kostnad. Nackdelen är att modellerna oftast är mindre kapabla än de största molnmodellerna. Se hur Apple tänker i nya Siri och läs om AI och integritet.
Din telefon sammanfattar ett långt sms eller förbättrar ett foto helt lokalt, utan att något skickas till en server. Samma sak när du kör en liten språkmodell på din bärbara dator för att skriva utkast till känsliga dokument.
