트랜스포머 뜻

다른 이름: Transformer, 트랜스포머 구조

트랜스포머는 오늘날 거의 모든 언어 모델의 바탕이 되는 구조입니다. 글 속의 모든 단어를 한꺼번에 보고 어떤 단어끼리 관련 있는지 파악합니다.

예시

“고양이가 물을 마셨다. 목이 말랐기 때문이다”라는 문장에서 목이 마른 것이 고양이라는 점을 알아챕니다.

핵심은 어텐션 메커니즘으로, 각 토큰이 문맥 안의 다른 모든 토큰에 가중치를 둡니다. 2017년 논문 “Attention Is All You Need”에서 소개되었습니다. 문맥이 길어질수록 계산량이 크게 늘어나기 때문에 더 효율적인 변형이 많이 나와 있습니다.

출처: arXiv 1706.03762, Wikipedia · 확인일: 2026년 10월 19일

AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.