추론 시 연산 뜻

다른 이름: Test-time compute, 추론 시 확장

추론 시 연산은 AI가 답할 때 계산 시간을 더 주어 더 오래 생각하게 하는 것입니다. 어려운 질문의 답이 좋아지는 경우가 많습니다.

예시

까다로운 논리 문제에서 모델이 1초가 아니라 1분 동안 생각해 실수를 줄입니다.

더 큰 모델을 학습시키는 대신 요청 하나에 쓰는 연산을 늘리는 방식입니다. 더 긴 사고의 사슬이나 여러 번의 시도가 그 예입니다. 추론 모델이 이를 활용하며, 많은 서비스에서 생각하는 정도를 조절할 수 있습니다. 오래 생각할수록 토큰 비용과 대기 시간이 늘어납니다.

출처: arXiv 2408.03314, openai.com, Wikipedia · 확인일: 2026년 10월 19일

AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.