Un transformer es el diseño en el que se basan casi todos los modelos de lenguaje actuales. Mira todas las palabras de un texto a la vez y reconoce cuáles van juntas.
Ilustración: generada con IA · AI Compare Ninja · CC BY 4.0
Ejemplo
En «El gato bebió porque tenía sed», el transformer reconoce que quien tenía sed es el gato.
Para profesionales
Su núcleo es el mecanismo de atención: cada token pondera todos los demás tokens del contexto. La arquitectura se presentó en 2017 en el artículo «Attention Is All You Need». El cálculo crece mucho con la longitud del contexto, por eso existen muchas variantes más eficientes.
