Alinhamento é o trabalho para que sistemas de IA façam o que as pessoas realmente pretendem, respeitando regras e valores.
Exemplo
Um modelo deve responder de forma útil, mas não dar instruções sobre substâncias perigosas, mesmo que alguém pergunte com esperteza.
Para profissionais
Os métodos incluem RLHF, especificações escritas de comportamento do modelo, red teaming e pesquisa em interpretabilidade. Como verificar com confiabilidade o alinhamento de sistemas muito capazes é uma questão em aberto. O termo às vezes é usado de forma ampla para a “segurança e o comportamento” de um modelo.
