يمكن أن يعزى تقييد واجهة برمجة التطبيقات بحد أقصى 32000 رمز ، على الرغم من قدرة النموذج على دعم ما يصل إلى 128000 رمز ، إلى عدة عوامل رئيسية:
1. الأداء والاستقرار **
إن الحد من عدد الرمز المميز يساعد في الحفاظ على أداء واستقرار واجهة برمجة التطبيقات. يمكن أن تؤدي حدود الرمز المميز الأعلى إلى زيادة المتطلبات الحسابية ، مما قد يؤدي إلى أوقات استجابة أبطأ وعدم الاستقرار المحتمل خلال فترات المرور العالية. من خلال تحديد الحد المميز عند 32 ألفًا ، يمكن للمقدمين ضمان أداء أكثر اتساقًا عبر سيناريوهات الاستخدام المختلفة [1].2. تجربة المستخدم **
يشجع الحد الأدنى للرمز المستخدمين على صياغة استفسارات أكثر إيجازًا وتركيزًا. يمكن أن يعزز ذلك جودة التفاعل الكلي من خلال تعزيز التواصل أوضح بين المستخدمين والنموذج. عندما يقتصر المستخدمون على عدد أقل من الرموز ، فمن الأرجح أن يشاركوا في حوار تكراري بدلاً من أن يطغى على النموذج مع مدخلات طويلة بشكل مفرط [3].3. إدارة الموارد **
يتيح التشغيل ضمن حد رمز محدد إدارة أفضل للموارد على جانب الخادم. يتطلب كل طلب الذاكرة وقوة المعالجة ، ومن خلال تقييد استخدام الرمز المميز ، يمكن لمقدمي الخدمات تحسين البنية التحتية الخاصة بهم للتعامل مع المزيد من الطلبات المتزامنة دون تحلل جودة الخدمة [2].4. اعتبارات التكلفة **
يمكن أن تؤدي حدود الرمز المميز الأعلى إلى زيادة تكاليف التشغيلية لمقدمي الخدمات بسبب زيادة استهلاك الموارد. من خلال الحفاظ على حد 32 ألفًا ، يمكن للمقدمين إدارة التكاليف بشكل أكثر فعالية مع الاستمرار في تقديم خدمة قوية تلبي احتياجات معظم المستخدمين [6].5. القيود الفنية **
قد تكون هناك أيضًا قيود تقنية تتعلق بكيفية نشر النماذج أو تكوينها في بيئات محددة. على سبيل المثال ، قد لا تدعم بعض التطبيقات حدود رمزية أعلى تمامًا بسبب القيود في بنيةها أو إعدادات النشر [4] [5].باختصار ، في حين أن النموذج نفسه لديه إمكانية لإطار سياق أكبر ، واعتبارات عملية فيما يتعلق بالأداء ، وتجربة المستخدم ، وإدارة الموارد ، والتكلفة ، والقيود التقنية ، تدفع قرار تقييد API إلى 32 ألف رمز.
الاستشهادات:[1] https://www.linkedin.com/pulse/gpt-4-continues-lead-googles-32k-models-meet-token-token-ankit-pareek
[2] https://learn.microsoft.com/en-aanswers/questions/2121835/gpt-4o-has-a-35k-input-token-limit
[3] https://devblogs.microsoft.com/surface-duo/android-openai-chatgpt-15/
[4] https://learn.microsoft.com/en-us/answers/questions/2116223/azure-openai-token-limit-issue
[5] https://community.zapier.com/troubleshooting-99/chatgpt-error-400-max-token-is-too-large-32768-tis-model-supports-at-most-4096-completion-tokens -39804
[6] https://themeisle.com/blog/chatgpt-api-cost/
[7] https://community.openai.com/tanone-can-explain-me-why-i-cannot-set-max-token-to-32k/951948
[8]
[9] https://github.com/danny-avila/librechat/discussions/1077
[10] https://www.googlecloudcommunity.com/gc/ai-ml/gemini-1-0-pro-tekon-count-not-32k/m-p/719426