AI-skolan
LLM-as-a-judge betyder att man låter en språkmodell bedöma svar från en annan AI (eller samma). I stället för att människor läser tusentals svar får en modell poängsätta dem efter tydliga kriterier, till exempel korrekthet, ton och relevans.
Metoden är snabb och billig och används mycket i modellutvärdering och benchmarking. Nackdelen är att domaren kan ha egna fördomar, till exempel att gilla längre svar eller sina egna formuleringar. Därför kontrollerar man ofta ett urval med människor.
Se även AI-hallucinationer: en domare kan missa fel den själv inte känner igen.
Du har två versioner av en prompt och 200 testfrågor. Du ber en modell: "Betygsätt varje svar 1–5 för korrekthet och tydlighet." Sedan jämför du snittet. Läs även hur du faktagranskar AI-innehåll.
