Nel red teaming esperti cercano di proposito di far sbagliare un’IA o di farle dare risposte dannose, per trovare i punti deboli prima del lancio.
Esempio
Un team prova a far rivelare a un bot di assistenza clienti i codici sconto interni.
Per esperti
Si testano tra l’altro jailbreak, prompt injection, fughe di dati e contenuti pericolosi. L’AI Act richiede test avversariali per i modelli GPAI con rischio sistemico. I risultati alimentano guardrail, addestramento ed evals.