La atención es el cálculo con el que un modelo de lenguaje decide qué otras palabras importan para la palabra actual.
Ejemplo
En «El banco junto al lago estaba mojado», el modelo atiende a «lago» y entiende que se trata de un asiento, no de una entidad financiera.
Para profesionales
Cada token forma vectores de consulta, clave y valor (query, key, value); su similitud produce pesos sobre todos los demás tokens. Varias cabezas de atención trabajan en paralelo. El coste crece de forma cuadrática con la longitud del contexto, por eso existen variantes más eficientes.
