사전 학습 뜻

다른 이름: 프리트레이닝

사전 학습은 AI 모델이 엄청난 양의 글에서 언어의 작동 방식을 배우는 첫 번째이자 가장 큰 학습 단계입니다.

예시

사전 학습 동안 언어 모델은 수십억 개의 문장을 읽으며 다음 단어를 맞히는 연습을 합니다.

사전 학습으로 기본 모델이 만들어지고, 이어서 파인튜닝과 RLHF 같은 사후 학습이 진행됩니다. 대개 계산량이 가장 많은 단계이며 지식 기준일(컷오프)도 여기서 정해집니다.

AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.