ما المقصود بـالتقطيع (Chunking)؟
يُسمّى أيضًا: تقسيم النص
التقطيع هو تقسيم المستندات الطويلة إلى أجزاء صغيرة كي يجد الذكاء الاصطناعي لاحقًا المقاطع المناسبة.
مثال
يُقسَّم دليل من 80 صفحة إلى أجزاء طول كل منها نحو نصف صفحة.
للمحترفين
حجم الأجزاء وتداخلها يؤثران كثيرًا في جودة نظام RAG. الأجزاء الصغيرة جدًا تفقد السياق، والكبيرة جدًا تُضعف دقة البحث. الطرق الجيدة تقطع عند العناوين أو الفقرات وتحفظ بيانات وصفية مثل العنوان ورقم الصفحة.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.