أبرز النقاط
- الرمز (Token) قطعة صغيرة من النص — غالباً جزء من كلمة. النماذج تقرأ وتكتب وتحاسب بالرموز، لا بالكلمات.
- في الإنجليزية، يعادل الرمز الواحد تقريباً 3–4 أحرف، أي نحو ثلاثة أرباع الكلمة. والعربية تحتاج عادةً إلى رموز أكثر للمعنى نفسه.
- يُسعَّر استخدام API لكل مليون رمز، وتكون رموز الإخراج عادةً أغلى من رموز الإدخال.
- نافذة السياق (Context Window) هي كمية النص التي يستطيع النموذج أخذها في الاعتبار دفعة واحدة — وما يتجاوزها من بداية المحادثة يُسقَط.
ما هو الرمز
قبل أن يتعامل النموذج اللغوي مع النص، يقسّمه إلى رموز (Tokens): الكلمات الشائعة قد تكون رمزاً واحداً، بينما تُقسَّم الكلمات الأطول أو الأندر إلى عدة قطع. والمسافات وعلامات الترقيم والأرقام تُحسب أيضاً. لا يرى النموذج «الكلمات» كما نراها نحن — بل سلاسل من الرموز يقرأها ثم يتوقّع التالي منها واحداً تلو الآخر (راجع دليلنا المبسّط للذكاء الاصطناعي في الشركات لفهم آلية هذا التوقّع).
قاعدة تقريبية للإنجليزية: الرمز الواحد يعادل نحو 3–4 أحرف، أي تقريباً ثلاثة أرباع الكلمة. فـ100 رمز تعادل نحو 75 كلمة. ويختلف العدد الدقيق من نموذج إلى آخر، لأن لكل مزوّد أداة تقسيم (Tokenizer) خاصة به.
لماذا تكلّف العربية أكثر غالباً
تُبنى أدوات التقسيم في الغالب من النصوص التي دُرِّبت عليها، وجزء كبير منها بالإنجليزية. لذلك تُقسَّم العربية، ولغات أخرى كثيرة، إلى قطع أكثر وأصغر في أحيان كثيرة. والنتيجة: الرسالة نفسها مكتوبة بالعربية تستهلك عادةً رموزاً أكثر من مقابلها الإنجليزي — أي أنها قد تكلّف أكثر، وتعمل أبطأ قليلاً، وتملأ نافذة السياق أسرع. وقد تحسّنت النماذج الأحدث في هذا الجانب، لكن من المفيد معرفته إذا كان عملك يجري باللغتين.
رموز الإدخال مقابل رموز الإخراج
لكل طلب جانبان:
- رموز الإدخال (Input Tokens) — كل ما ترسله: سؤالك، أي تعليمات، المستندات المرفقة، و(في المحادثة) الرسائل السابقة التي يُعاد إرسالها مع كل دور.
- رموز الإخراج (Output Tokens) — كل ما يكتبه النموذج في الرد.
يسعّر المزوّدون كلاً منهما على حدة، عادةً بالدولار لكل مليون رمز، وتكون رموز الإخراج في العادة أغلى بشكل ملحوظ من رموز الإدخال. وتختلف الأسعار كثيراً بين النماذج وتتغيّر باستمرار، لذا راجع دائماً صفحة الأسعار الحالية لدى المزوّد بدل الاعتماد على رقم قرأته في مكان ما.
نافذة السياق
نافذة السياق (Context Window) هي الحدّ الأقصى من الرموز التي يستطيع النموذج أخذها في الاعتبار دفعة واحدة — تعليماتك، والمستندات، والمحادثة كلها حتى الآن، ورده هو نفسه. النماذج الحديثة تملك نوافذ كبيرة، لكنها ليست بلا حدود.
وهذا يفسّر أمرين يلاحظهما الناس عملياً:
- المحادثات الطويلة تصبح أبطأ وأغلى. في المحادثة، تُرسَل الرسائل السابقة إلى النموذج مع كل سؤال جديد، فيعالج كل دور رموز إدخال أكثر من الدور الذي قبله.
- النماذج «تنسى». عندما تتجاوز المحادثة حجم النافذة، تُسقَط الأجزاء الأقدم أو تُختصر، فلا يعود النموذج يراها فعلاً. وحتى داخل النافذة، قد تفوته تفاصيل مدفونة في محادثة طويلة جداً.
| المصطلح | معناه |
|---|---|
| الرمز (Token) | قطعة صغيرة من النص (غالباً جزء من كلمة) يقرأها النموذج ويكتبها |
| أداة التقسيم (Tokenizer) | الطريقة التي يقسّم بها النموذج النص إلى رموز؛ وتختلف بين المزوّدين |
| رموز الإدخال (Input Tokens) | كل ما يُرسَل إلى النموذج: الطلب، التعليمات، المستندات، سجلّ المحادثة |
| رموز الإخراج (Output Tokens) | كل ما يولّده النموذج في الرد؛ وسعرها أعلى عادةً |
| نافذة السياق (Context Window) | الحدّ الأقصى من الرموز التي يأخذها النموذج في الاعتبار دفعة واحدة |
| التخزين المؤقت للطلبات (Prompt Caching) | خصم يقدّمه بعض المزوّدين عند إعادة استخدام المدخلات الطويلة نفسها في عدة طلبات |
| حدّ الاستخدام (Rate Limit) | سقف لعدد الرموز أو الطلبات المسموح بها في الدقيقة أو في اليوم |
كيف تخفّض كلفة الرموز
- اجعل طلباتك مركّزة. أرسل الجزء المعني من المستند، لا الأرشيف كاملاً.
- ابدأ محادثة جديدة لكل موضوع جديد بدل الاستمرار في محادثة لا تنتهي.
- لخّص أولاً بأول. في المشاريع الطويلة، اطلب ملخّصاً قصيراً وابدأ منه محادثة جديدة.
- اطلب إجابات أقصر عندما لا تحتاج إلى التفاصيل — فالإخراج هو الجانب الأغلى.
- اختر النموذج المناسب للمهمة. النماذج الأصغر والأرخص تؤدّي التصنيف والاستخراج والردود البسيطة جيداً؛ واحتفظ بالنماذج الأكبر للتحليل المعقّد.
- استفد من التخزين المؤقت حيث يتوفّر. إذا كنت ترسل التعليمات الطويلة نفسها أو المستند المرجعي نفسه مراراً، فقد يخفّض التخزين المؤقت للطلبات كلفة رموز الإدخال المتكرّرة.
الاشتراكات مقابل استخدام API
هناك طريقتان شائعتان للدفع. الاشتراك لكل مستخدم في تطبيق محادثة (مثل خطط ChatGPT أو Claude) يمنحك سعراً شهرياً ثابتاً مع حدود للاستخدام — وهو بسيط ويمكن توقّعه للموظفين الذين يستخدمون الذكاء الاصطناعي بشكل تفاعلي. أما استخدام API فهو دفع حسب الاستهلاك لكل رمز، وهو ما تستخدمه عندما يُدمج الذكاء الاصطناعي في برامجك الخاصة أو في سير العمل المؤتمت. وهنا تصبح الرموز بنداً مباشراً في فاتورتك، لذا من المفيد وضع حدود للإنفاق ومراقبة الاستهلاك من اليوم الأول.
الخلاصة
الرموز هي الوحدة التي يقوم عليها كل ما يفعله نموذج الذكاء الاصطناعي: ما يستطيع قراءته، وما يتذكّره، وسرعة إجابته، وكلفته. ومعرفة طريقة احتسابها ولو تقريبياً تساعدك على كتابة طلبات أفضل، واختيار النموذج المناسب، وتجنّب الفواتير المفاجئة.
إذا كنت تخطّط لإدخال الذكاء الاصطناعي في سير عملك وتريد مساعدة في تقدير التكاليف واختيار الإعداد المناسب، تحدّث مع فريقنا.
