اقتصاديات التوكنز: لماذا تتضخم فاتورة ذكائك الاصطناعي مع السياق المتراخي

تضع المؤسسات ميزانية الذكاء الاصطناعي بعدّ المستخدمين. وتُصدر النماذج فواتيرها بعدّ التوكنز. والفجوة بين هذين المنحنيين هي السياق — ومعظمه هدر تدفع ثمن إعادة إرساله.

إلى أين تذهب التوكنز فعلاً

في مساعد إنتاجي، سؤال المستخدم خطأ تقريب لا أكثر. فاستعلام من أربعين كلمة يمتطي عادة آلاف التوكنز من الحمولة: أمر النظام، وتعريفات الأدوات، وأجزاء المستندات المسترجَعة، و— في الجلسات متعددة الأدوار أو الوكيلية — كامل السجل المتراكم، يُعاد إرساله مع كل استدعاء. وRAG يضاعف هذا: الاسترجاع الذي يسحب عشرة أجزاء "احتياطاً" يدفع ثمن عشرة أجزاء في كل دور، سواء احتاجت الإجابة أكثر من جزء واحد أم لا. والوكلاء يضاعفونه مجدداً، لأن كل خطوة استدلال تعيد إرسال النص المتنامي. والنتيجة نمو تكلفة فوق خطي: الدور العاشر من الجلسة قد يكلّف أضعاف الدور الأول، دون زيادة مقابلة في القيمة المقدَّمة. ويتدهور زمن الاستجابة على المنحنى نفسه، لأن الزمن حتى أول توكن يتبع حجم المدخلات.

الضغط البنيوي مقابل الدلالي

ليست كل أشكال تقليص السياق سواء، والفرق مهم للجودة والتدقيق معاً. الضغط البنيوي يزيل ما لا يحمل معنى: وسوم التنسيق الحشوية، والترويسات المتكررة، والمسافات الزائدة، والأجزاء المكررة المسترجَعة مرتين من نوافذ متداخلة. وهو غير فاقد للمعنى وآمن للتطبيق في كل مكان. أما الضغط الدلالي فيتخذ أحكاماً تقديرية — تلخيص الأدوار السابقة، وتشذيب الأجزاء المصنَّفة غير ذات صلة بالسؤال الحالي، وإزالة تكرار المقاطع شبه المتطابقة. إذا أُحسن تنفيذه حافظ على جودة الإجابة مع خفض الحمولة كثيراً؛ وإذا نُفذ بفجاجة حذف الجملة التي كانت الإجابة تعتمد عليها. والانضباط الهندسي هو الضغط بتحفظ، وقياس جودة الإجابة باستمرار، وإبقاء الأوضاع الجريئة خلف تهيئة صريحة.

الضغط الواعي بالذاكرة المؤقتة

تمنح منظومات الاستدلال الحديثة خصومات كبيرة على البادئات المخزَّنة مؤقتاً — لكن التخزين المؤقت يكافئ السياق المستقر، والضغط الساذج يدمّر الاستقرار بإعادة كتابة البادئة في كل دور. أما الضغط الواعي بالذاكرة المؤقتة فيرتّب الحمولة بحيث تبقى الأجزاء الثابتة (أمر النظام، وتعريفات الأدوات، والمستندات طويلة العمر) متطابقة بالبايت في المقدمة، وتنحصر التقلبات في الذيل. عندها يتراكم أثر الضغط والتخزين المؤقت بدل أن يلغي أحدهما الآخر: ترسل توكنز أقل، ونسبة أكبر مما ترسله تُحاسَب بسعر التخزين المؤقت.

ماذا تعني 48–79% لحمل عمل

تقيس طبقة الضغط Hermes في AANCER خفضاً للسياق بنسبة 48–79% عبر أنواع أحمال العمل — ويعكس هذا المدى مقدار التكرار الذي يحمله كل حمل عمل (الجلسات كثيفة المحادثة ذات السجلات الطويلة في الأعلى؛ والاستعلامات المقتضبة أحادية الطلقة في الأسفل). اقرأ ذلك كرقم تخطيطي: حمل عمل بميزانية توكنز شهرية معينة يستقر عند نحو خُمسها إلى نصفها، وكل بند لاحق — سعة الخدمة داخل المنشأة، ورسوم التوكنز حيث يُستخدم نموذج سحابي للذروة — يتوسع بالعامل نفسه. ويتحسن زمن الاستجابة بالتوازي، وهو ما يلاحظه المستخدمون قبل الإدارة المالية.

الضغط يجب ألا يمس السجل أبداً

أمر واحد غير قابل للتفاوض: الضغط تحسين لما يراه النموذج، لا لما يحتفظ به السجل. فبموجب إمساك السجلات على نمط المادة 12 من EU AI Act، يجب أن يبقى الأمر النصي الأصلي والسياق المسترجَع الكامل والحمولة المضغوطة المرسلة فعلاً قابلة للاسترجاع جميعها، ليستطيع المدقق التحقق مما سأله المستخدم وما عُرض على النموذج معاً. وطبقة الضغط التي تتخلص من الأصول تحوّل توفيراً في التكلفة إلى ثغرة امتثال.

• قِس التوكنز لكل تفاعل حسب المكوّن — النظام، والأدوات، والاسترجاع، والسجل — قبل التحسين.
• طبّق الضغط البنيوي في كل مكان؛ وقيّد الضغط الدلالي بجودة إجابة مُقاسة.
• رتّب السياق لاستقرار الذاكرة المؤقتة كي تتراكم الوفورات.
• احتفظ بالأصول بشكل غير قابل للتعديل؛ اضغط الحمولة، لا الأدلة أبداً.

شاهد نسبة ضغط حمل عملك تُقاس ←