ما المقصود بـآلية الانتباه؟
يُسمّى أيضًا: Attention، الانتباه الذاتي
الانتباه هو الحساب الذي يقرر به النموذج اللغوي أي الكلمات الأخرى مهمة للكلمة الحالية.
مثال
في جملة «جلس على العين يشرب منها» ينتبه النموذج إلى «يشرب» فيفهم أن العين هنا نبع ماء وليست عضو الإبصار.
للمحترفين
يكوّن كل رمز متجهات استعلام ومفتاح وقيمة، ومن تشابهها تنتج أوزان على كل الرموز الأخرى. تعمل عدة رؤوس انتباه بالتوازي. تزداد التكلفة تربيعيًا مع طول السياق، لذلك ظهرت صيغ أكثر كفاءة.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.