ما المقصود بـذاكرة KV المؤقتة؟
يُسمّى أيضًا: KV cache، ذاكرة المفتاح والقيمة
ذاكرة KV المؤقتة مخزن مؤقت داخل النموذج اللغوي يحفظ أجزاء محسوبة سابقًا ليولّد كل كلمة جديدة أسرع.
مثال
في إجابة طويلة لا يحتاج النموذج إلى إعادة حساب النص السابق مع كل كلمة.
للمحترفين
تحفظ متجهات المفتاح والقيمة الخاصة بالانتباه لكل الرموز السابقة. تكبر مع طول السياق وتشغل كثيرًا من ذاكرة GPU، لذلك توجد طرق للضغط والمشاركة. ويقوم التخزين المؤقت للأوامر لدى المزوّدين على أفكار مشابهة.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.