Vad är
Data poisoning (förgiftning av träningsdata)?

Data poisoning, ibland kallat förgiftning av träningsdata, är när någon medvetet lägger in felaktig eller manipulerad data i det material en AI-modell tränas på. Målet kan vara att få modellen att ge fel svar, bete sig konstigt i vissa lägen eller dölja en bakdörr.

Eftersom moderna modeller tränas på enorma mängder data från internet är det svårt att kontrollera allt. Därför är god hantering av träningsdata och kontroll av dataset viktigt. Begreppet ska inte blandas ihop med prompt injection, som sker när modellen används, inte när den tränas.

Motåtgärder är bland annat testning med red teaming och att följa upp avvikelser med modellövervakning.