Ο μηχανισμός εκλεπτυσμένης πολλαπλής κεφαλής λανθάνουσας προσοχής (MLA) στο Deepseek-V3 διαδραματίζει κρίσιμο ρόλο στη διαχείριση της ανάπτυξης της μνήμης, μειώνοντας σημαντικά τις απαιτήσεις μνήμης κατά τη διάρκεια της διαδικασίας συμπερασμάτων του μοντέλου. Δείτε πώς συμβάλλει στην αποτελεσματικότητα της μνήμης:
1. Δυναμική προβολή χαμηλής κατάταξης: Το MLA ρυθμίζει τη συμπίεση των φορέων κλειδιού/τιμής με βάση το μήκος αλληλουχίας. Για μικρότερες αλληλουχίες, εφαρμόζεται λιγότερη συμπίεση για τη διατήρηση της πιστότητας, ενώ για μεγαλύτερες αλληλουχίες (έως και 128K μάρκες), χρησιμοποιείται βαθύτερη συμπίεση για τη διαχείριση της ανάπτυξης της μνήμης. Αυτή η προσαρμοστική προσέγγιση εξασφαλίζει ότι η χρήση της μνήμης παραμένει διαχειρίσιμη ακόμη και με πολύ μεγάλες ακολουθίες εισόδου [2] [3].
2. Συμπίεση προσαρμογής ερωτήματος: Σε αντίθεση με το Deepseek-V2, το οποίο χρησιμοποίησε μια σταθερή διάσταση για συμπίεση ερωτήματος, το DeepSeeek-V3 χρησιμοποιεί προσαρμοστική κλιμάκωση των ερωτημάτων σε διαφορετικά βάθη στρώσεων. Τα πρώιμα στρώματα χρησιμοποιούν τα ερωτήματα υψηλότερης διαστάσεων για καλύτερη εκφραστικότητα, ενώ τα βαθύτερα στρώματα συμπιέζουν πιο επιθετικά ερωτήματα για να αποθηκεύσουν τη μνήμη ενεργοποίησης. Αυτή η στρατηγική βελτιστοποιεί τη χρήση της μνήμης εξισορροπώντας την εκφραστικότητα με αποτελεσματικότητα [2] [3].
3. Βελτιωμένο χειρισμό σχοινιών: Το Deepseek-V3 επεκτείνει την έννοια της αποσύνδεσης των κλειδιών, η οποία εφαρμόστηκε εν μέρει στο V2. Παρακολουθώντας ένα "αποσυνδεδεμένο κοινό κλειδί", το μοντέλο μειώνει την αριθμητική μετατόπιση σε μεγάλες γενιές, εξασφαλίζοντας σταθερή απόδοση σε εκτεταμένες ακολουθίες [2].
4. Κοινή αποθήκευση KV: Σε αντίθεση με το V2, το οποίο αποθηκεύει ξεχωριστά συμπιεσμένα κλειδιά και τιμές, το V3 τους συγχωνεύει σε μια κοινή συμπιεσμένη αναπαράσταση. Αυτό μειώνει την κυκλοφορία μνήμης κατά τη διάρκεια της συμπερίληψης πολλαπλών αποδόσεων, ενισχύοντας περαιτέρω την αποτελεσματικότητα της μνήμης [2].
5. Προσαρμοστική προσωρινή μνήμη στρώματος: Αντί να προσωρινά αποθηκευτείτε όλα τα παρελθόντα μάρκες για όλα τα στρώματα, V3 Prunes παλαιότερες καταχωρήσεις KV σε βαθύτερα στρώματα. Αυτό βοηθά στη διατήρηση της χρήσης μνήμης εντός διαχειρίσιμων ορίων όταν ασχολούνται με μεγάλα παράθυρα περιβάλλοντος [2].
Με την εφαρμογή αυτών των βελτιώσεων, το MLA μειώνει σημαντικά το αποτύπωμα μνήμης του Deepseek-V3, καθιστώντας το ικανό να χειρίζεται αποτελεσματικά τις μακρές ακολουθίες χωρίς να διακυβεύεται η απόδοση. Αυτό επιτυγχάνεται με τη συμπίεση ζεύγους κλειδιού-τιμής σε λανθάνοντες φορείς, γεγονός που μειώνει την ποσότητα των δεδομένων που πρέπει να αποθηκευτεί και να υποβληθεί σε επεξεργασία, επιταχύνοντας έτσι τη συμπερίληψη και την ενίσχυση των δυνατοτήτων εφαρμογής σε πραγματικό χρόνο [3] [5] [8].
Αναφορές:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-ogoing-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-they-achieved-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-lot-and-crippled-hardware/
[8] https://618media.com/en/blog/top-5-features-of-deepseek-v3-you-should-king/