レイテンシーとは？
別名： 応答時間、最初のトークンまでの時間
レイテンシーとは、AIが答え始めるまで、または答え終わるまでの待ち時間です。
例
レイテンシーの大きい音声アシスタントは3秒後にやっと答えるので、会話がぎこちなくなります。
専門家向け
主な指標は、最初のトークンまでの時間と1秒あたりのトークン数です。モデルの大きさ、プロンプトの長さ、推論の量、混雑具合、ネットワークで変わります。小さいモデル、ストリーミング、プロンプトキャッシュ、短いプロンプトで短縮できます。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。