Beim Red Teaming versuchen Fachleute gezielt, eine KI zu Fehlern oder schädlichen Antworten zu bringen, um Schwachstellen vor dem Start zu finden.
Beispiel
Ein Team versucht, einen Kundenservice-Bot dazu zu bringen, interne Rabattcodes zu verraten.
Für Profis
Getestet werden unter anderem Jailbreaks, Prompt Injection, Datenabfluss und gefährliche Inhalte. Für GPAI-Modelle mit systemischem Risiko verlangt der EU AI Act Angriffstests. Ergebnisse fließen in Guardrails, Training und Evals ein.
