AI-skolan

Vad är
Inferens

Inferens är ögonblicket då en färdigtränad AI-modell faktiskt används — när den tar emot din fråga och räknar fram ett svar. Det står i kontrast till träningsfasen, då modellen byggs. Själva beräkningen körs på en inference-server, och när det sker direkt på sekunden kallas det realtidsinferens.

Exempel

Varje gång du trycker enter i en chatbot sker en inferens: modellen är redan tränad, men den måste räkna på just din fråga. Det är därför svar tar några sekunder och varför populära tjänster ibland blir långsamma vid hög belastning.

ML
LLM