Omejitev API -ja na največ 32.000 žetonov, kljub zmožnosti modela za podporo do 128.000 žetonov, lahko pripišemo več ključnim dejavnikom:
1. uspešnost in stabilnost **
Omejevanje števila žetonov pomaga ohraniti delovanje in stabilnost API -ja. Višje omejitve žetona lahko privedejo do večjih računskih potreb, kar lahko povzroči počasnejše odzivne čase in potencialno nestabilnost v obdobjih z visokim prometom. Z omejevanjem meje žetona pri 32K lahko ponudniki zagotovijo bolj dosledno uspešnost v različnih scenarijih uporabe [1].2. Uporabniška izkušnja **
Nižja omejitev žetona spodbuja uporabnike, da izdelajo bolj jedrnate in osredotočene poizvedbe. To lahko poveča celotno kakovost interakcije s spodbujanjem jasnejše komunikacije med uporabniki in modelom. Ko so uporabniki omejeni na manj žetonov, se bolj verjetno ukvarjajo z iterativnim dialogom, ne pa da bi model preplavili s pretirano dolgimi vhodi [3].3. Upravljanje virov **
Delovanje znotraj določene meje žetona omogoča boljše upravljanje virov na strani strežnika. Vsaka zahteva zahteva pomnilniško in procesno moč, z omejevanjem uporabe žetona pa lahko ponudniki storitev optimizirajo svojo infrastrukturo za obravnavo bolj sočasnih zahtev brez poslabšanja kakovosti storitev [2].4. PREDSTAVITVE **
Višje omejitve žetona lahko privedejo do povečanih operativnih stroškov za ponudnike storitev zaradi večje porabe virov. Z ohranitvijo 32K omejitve lahko ponudniki učinkoviteje upravljajo stroške, hkrati pa še vedno ponujajo robustno storitev, ki ustreza potrebam večine uporabnikov [6].5. Tehnične omejitve **
Obstajajo lahko tudi tehnične omejitve, povezane s tem, kako so modeli nameščeni ali konfigurirani v določenih okoljih. Na primer, nekatere izvedbe morda ne bodo v celoti podpirale večjih omejitev žetona zaradi omejitev v njihovi arhitekturi ali nastavitvah uvajanja [4] [5].Če povzamemo, čeprav ima sam model potencial za večje kontekstno okno, praktični vidiki glede uspešnosti, uporabniške izkušnje, upravljanja virov, stroškov in tehničnih omejitev vodijo k odločitvi za omejitev API -ja na 32K žetone.
Navedbe:[1] https://www.linkedin.com/pulse/gpt-4-continues-lead-googles-32k-models-meet-match-token-ainkit-pareek
[2] https://learn.microsoft.com/en-au/answers/Questions/2121835/gpt-4o-has-a-a-35k-input-token-limit
[3] https://devblogs.microsoft.com/surface-duo/android-openai-chatgpt-15/
[4] https://learn.microsoft.com/en-us/answers/questions/2116223/azure-openai-token-limit-issue
[5] https://community.zapier.com/troubleshooting-99/chatgpt-error-400-max-token-is-too-large-32768-this-model-supports-at-most-4096-Conpletietion-tokens -39804
[6] https://themeisle.com/blog/chatgpt-api-cost/
[7] https://community.openai.com/t/anyone-can-explain-me-wy-i-cannot-set-max-token-to-32k/951948
[8] https://www.reddit.com/r/openai/comments/1h7jm52/one_thing_that_openai_shoulve_highlighted_more/
[9] https://github.com/danny-avili/librechat/discussions/1077
[10] https://www.googlecloudCommunity.com/gc/ai-ml/gemini-1-0-Pro-tekon-count-not-32k/m-p/719426