ما المقصود بـالتوكن؟
يُسمّى أيضًا: وحدة نصية
التوكن قطعة نصية صغيرة يحسب بها الذكاء الاصطناعي، وغالبًا ما تكون جزءًا من كلمة. تحدّد الشركات الأسعار والحدود بالتوكن.
مثال
كلمة «والمستشفيات» تُقسَّم داخليًا إلى عدة توكنات.
للمحترفين
كقاعدة تقريبية، يعادل التوكن في الإنجليزية نحو ثلاثة أرباع كلمة، وتحتاج لغات أخرى مثل العربية غالبًا إلى توكنات أكثر. وتسعّر واجهات البرمجة عادةً توكنات الإدخال والإخراج بشكل مختلف.
على AI Compare Ninja
موجّهات ومهارات ووكلاء وأدوات ذات صلة
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.