ما المقصود بـLoRA؟
يُسمّى أيضًا: Low-Rank Adaptation، التكييف منخفض الرتبة
LoRA طريقة اقتصادية لتكييف نموذج ذكاء اصطناعي: بدل تغيير كل الأوزان، تُدرَّب وحدات إضافية صغيرة فقط.
مثال
باستخدام LoRA يتعلّم نموذج الصور أسلوب رسومات شركتك دون الحاجة إلى إعادة تدريب النموذج كله.
للمحترفين
تضيف LoRA مصفوفات صغيرة منخفضة الرتبة إلى مصفوفات أوزان مختارة، ولا يُدرَّب سواها بينما يبقى النموذج الأساسي مجمّدًا. يوفّر ذلك الذاكرة والحوسبة، ولا يشكّل المحوِّل (adapter) سوى جزء صغير من حجم النموذج، غالبًا من بضعة ميغابايت إلى بضع مئات منها. وتجمع متغيّرات مثل QLoRA ذلك مع التكميم.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.