긴 컨텍스트 뜻

다른 이름: Long context

긴 컨텍스트는 모델이 책 한 권이나 큰 코드베이스처럼 많은 글을 한 번에 처리할 수 있다는 뜻입니다.

예시

300쪽짜리 계약서를 올리고 모든 해지 통보 기간을 묻습니다.

지금은 수십만에서 수백만 토큰을 다루는 모델도 있습니다. 하지만 연구에 따르면 긴 글의 가운데에 있는 정보는 잘 찾지 못합니다(‘lost in the middle’). 긴 컨텍스트는 비싸므로, 많은 자료를 다룰 때는 RAG가 더 싸고 정확한 경우가 많습니다.