예시
지연 시간이 긴 음성 비서는 3초 뒤에야 답해서 대화가 어색해집니다.
전문가용
주요 지표는 첫 토큰까지의 시간과 초당 토큰 수입니다. 모델 크기, 프롬프트 길이, 추론량, 사용량, 네트워크에 따라 달라집니다. 작은 모델, 스트리밍, 프롬프트 캐싱, 짧은 프롬프트로 줄일 수 있습니다.
출처: platform.openai.com, docs.anthropic.com · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
