AI-skolan
Red teaming är när ett team, eller en AI, medvetet försöker lura, pressa eller knäcka en AI-modell för att hitta svagheter innan någon annan gör det. Idén kommer från säkerhetsvärlden och används nu av nästan alla som bygger stora språkmodeller.
Testarna provar bland annat jailbreaks, prompt injection och frågor som får modellen att läcka data eller ge farliga svar. Resultatet används för att bygga starkare guardrails och bättre AI-säkerhet. Du kan själv red-teama dina egna AI-flöden på jobbet, läs mer i AI-säkerhet på jobbet.
Exempel
Innan ett företag lanserar en kundchatt låter det några kollegor försöka få den att avslöja interna priser, bryta mot reglerna eller svara osakligt. Allt som lyckas rättas innan chatten lanseras.
AI
Nybörjare
Studier
