예시
“배를 먹고 배를 타러 갔다”에서 모델은 주변 단어에 주목해 첫 번째 ‘배’는 과일, 두 번째 ‘배’는 선박임을 구분합니다.
전문가용
각 토큰이 쿼리, 키, 값 벡터를 만들고, 그 유사도로 다른 모든 토큰에 대한 가중치가 정해집니다. 여러 어텐션 헤드가 병렬로 작동합니다. 계산량은 문맥 길이의 제곱으로 늘어나므로 더 효율적인 변형이 많이 있습니다.
출처: arXiv 1706.03762, Wikipedia · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
