샘플링(top-p, top-k) 뜻
다른 이름: 디코딩 전략
샘플링은 언어 모델이 다음에 올 여러 후보 단어 중 하나를 고르는 방법입니다. 글이 얼마나 예측 가능할지, 다양할지를 정합니다.
예시
좁은 샘플링이면 상품 설명이 비슷비슷해지고, 넓은 샘플링이면 창의적이지만 예측하기 어려운 아이디어가 나옵니다.
전문가용
top-k는 확률이 가장 높은 k개 토큰 중에서, top-p(nucleus sampling)는 확률 합이 p에 이르는 가장 작은 집합에서 고릅니다. 온도(temperature)와 함께 다양성을 조절합니다. 추론 모델에서는 이런 설정이 고정된 경우가 많습니다.
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.