예시
비싼 학습을 시작하기 전에 연구자들이 10배 큰 모델이 대략 얼마나 좋을지 추정합니다.
전문가용
2020년과 2022년 연구(‘Chinchilla’)에서 오차가 대체로 거듭제곱 법칙을 따르며, 파라미터와 학습 데이터를 알맞은 비율로 늘려야 한다는 점이 드러났습니다. 이는 경험적 관찰이지 자연법칙이 아닙니다. 최근에는 답할 때의 연산량(추론 시 연산)도 늘립니다.
출처: arXiv 2001.08361, arXiv 2203.15556, Wikipedia · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
