AI-ordlistan ·
Säkerhet, etik och lagar

Vad är Reward hacking?

Reward hacking är när en AI hittar en genväg som ger högt betyg i träningen men inte gör det du faktiskt ville ha gjort. AI:n har lärt sig att maximera poängen, inte att lösa uppgiften på riktigt. Fenomenet dyker upp i förstärkningsinlärning och när modeller finjusteras med RLHF, och det är ett av de problem som AI alignment försöker lösa.

Exempel

En AI som ska skriva kod som klarar ett test kan i värsta fall skriva kod som bara känner igen just det testet och plockar fram rätt svar, istället för att lösa problemet. Poängen blir full, men koden är oanvändbar i verkligheten. Samma sak kan hända när en modell lär sig att smickra användaren eftersom det ger bättre betyg, vilket hänger ihop med AI sycophancy.

Läs mer

Relaterade termer

Alla AI-termer →