Ο περιορισμός του API σε μέγιστο 32.000 μάρκες, παρά την ικανότητα του μοντέλου να υποστηρίζει έως και 128.000 μάρκες, μπορεί να αποδοθεί σε αρκετούς βασικούς παράγοντες:
1. Απόδοση και σταθερότητα **
Ο περιορισμός του αριθμού των συμβολαίων συμβάλλει στη διατήρηση της απόδοσης και της σταθερότητας του API. Τα υψηλότερα όρια συμβόλων μπορούν να οδηγήσουν σε αυξημένες υπολογιστικές απαιτήσεις, οι οποίες μπορεί να οδηγήσουν σε βραδύτερους χρόνους απόκρισης και πιθανή αστάθεια κατά τη διάρκεια περιόδων υψηλής κυκλοφορίας. Με την κάλυψη του ορίου συμβόλων στα 32K, οι πάροχοι μπορούν να εξασφαλίσουν πιο συνεπείς επιδόσεις σε διαφορετικά σενάρια χρήσης [1].2. Εμπειρία χρήστη **
Ένα χαμηλότερο όριο συμβολαίου ενθαρρύνει τους χρήστες να δημιουργούν πιο συνοπτικά και εστιασμένα ερωτήματα. Αυτό μπορεί να ενισχύσει τη συνολική ποιότητα αλληλεπίδρασης προωθώντας σαφέστερη επικοινωνία μεταξύ των χρηστών και του μοντέλου. Όταν οι χρήστες περιορίζονται σε λιγότερα μάρκες, είναι πιο πιθανό να συμμετάσχουν σε επαναληπτικό διάλογο και όχι να συντρίψουν το μοντέλο με υπερβολικά μακρές εισροές [3].3. Διαχείριση πόρων **
Η λειτουργία μέσα σε ένα καθορισμένο όριο συμβόλων επιτρέπει την καλύτερη διαχείριση των πόρων από την πλευρά του διακομιστή. Κάθε αίτημα απαιτεί τη μνήμη και την ισχύ επεξεργασίας και περιορίζοντας τη χρήση συμβολαίων, οι πάροχοι υπηρεσιών μπορούν να βελτιστοποιήσουν την υποδομή τους για να χειριστούν πιο ταυτόχρονα αιτήματα χωρίς να υποβαθμίζουν την ποιότητα των υπηρεσιών [2].4. Σκέψεις κόστους **
Τα υψηλότερα όρια συμβόλων μπορούν να οδηγήσουν σε αυξημένο λειτουργικό κόστος για τους παρόχους υπηρεσιών λόγω μεγαλύτερης κατανάλωσης πόρων. Διατηρώντας ένα όριο 32k, οι πάροχοι μπορούν να διαχειριστούν το κόστος πιο αποτελεσματικά, προσφέροντας ακόμα μια ισχυρή υπηρεσία που να ανταποκρίνεται στις ανάγκες των περισσότερων χρηστών [6].5. Τεχνικοί περιορισμοί **
Μπορεί επίσης να υπάρχουν τεχνικοί περιορισμοί που σχετίζονται με τον τρόπο με τον οποίο τα μοντέλα αναπτύσσονται ή διαμορφώνονται σε συγκεκριμένα περιβάλλοντα. Για παράδειγμα, ορισμένες υλοποιήσεις ενδέχεται να μην υποστηρίζουν πλήρως τα υψηλότερα όρια συμβόλων λόγω περιορισμών στις ρυθμίσεις αρχιτεκτονικής ή ανάπτυξης [4] [5].Συνοπτικά, ενώ το ίδιο το μοντέλο έχει τη δυνατότητα για ένα ευρύτερο παράθυρο περιβάλλοντος, πρακτικές εκτιμήσεις σχετικά με τις επιδόσεις, την εμπειρία των χρηστών, τη διαχείριση των πόρων, το κόστος και τους τεχνικούς περιορισμούς οδηγούν στην απόφαση να περιορίσουν το API σε 32K μάρκες.
Αναφορές:[1] https://www.linkedin.com/pulse/gpt-4-continues-lead-googles-32k-models-meet-match-token-ankit-areek
[2] https://learn.microsoft.com/en-au/answers/questions/2121835/gpt-4o-has-a-35k-input-token-stoken
[3] https://devblogs.microsoft.com/surface-duo/android-openai-chatgpt-15/
[4] https://learn.microsoft.com/en-us/answers/questions/2116223/azure-openai-token-limit-issue
[5] https://community.zapier.com/troubleshooting-99/chatgpt-error-400-max-token-is-too-large-32768-this-model-supports-at-most-4096-comeety-tokens -39804
[6] https://themeisle.com/blog/chatgpt-api-cost/
[7] https://community.openai.com/t/anone-can-explain-me-why-cannot-set-max-token-to-32k/951948
[8] https://www.reddit.com/r/openai/comments/1h7jm52/one_thing_that_openai_shouldve_highlighted_more/
[9] https://github.com/danny-avila/librechat/discussions/1077
[10] https://www.googlecloudcommunity.com/gc/ai-ml/gemini-1-0-pro-tekon-count-not-32k/m-p/719426