Il raffinato meccanismo di attenzione latente (MLA) in DeepSeek-V3 svolge un ruolo cruciale nella gestione della crescita della memoria riducendo significativamente i requisiti di memoria durante il processo di inferenza del modello. Ecco come contribuisce all'efficienza della memoria:
1. Proiezione dinamica di basso rango: MLA regola la compressione dei vettori di tasto/valore in base alla lunghezza della sequenza. Per sequenze più brevi, viene applicata una minore compressione per preservare la fedeltà, mentre per sequenze più lunghe (fino a 128K token), viene utilizzata una compressione più profonda per gestire la crescita della memoria. Questo approccio adattivo garantisce che l'utilizzo della memoria rimanga gestibile anche con sequenze di input molto lunghe [2] [3].
2. Compressione di query adattiva: a differenza di DeepSeek-V2, che utilizzava una dimensione fissa per la compressione delle query, DeepSeek-V3 impiega il ridimensionamento adattivo delle query a diverse profondità di strato. Gli strati primitivi utilizzano query a dimensioni superiori per una migliore espressività, mentre gli strati più profondi comprimono più aggressivamente query per salvare la memoria di attivazione. Questa strategia ottimizza l'utilizzo della memoria bilanciando l'espressività con efficienza [2] [3].
3. Manifestazione della corda migliorata: DeepSeek-V3 estende il concetto di chiavi di disaccoppiamento, che è stato parzialmente implementato in V2. Tracciando una "chiave condivisa disaccoppiata", il modello riduce la deriva numerica in generazioni lunghe, garantendo prestazioni stabili su sequenze estese [2].
4. Archiviazione KV congiunta: a differenza di V2, che ha memorizzato separatamente tasti e valori compressi, V3 li unisce in una rappresentazione compressa condivisa. Ciò riduce il traffico di memoria durante l'inferenza multi-nodo, migliorando ulteriormente l'efficienza della memoria [2].
5. Cache adattiva a livello di livello: invece di memorizzare nella cache tutti i token passati per tutti i livelli, v3 prunes vecchi voci KV a livelli più profondi. Questo aiuta a mantenere l'utilizzo della memoria entro limiti gestibili quando si tratta di finestre di grande contesto [2].
Implementando questi perfezionamenti, MLA riduce significativamente l'impronta di memoria di DeepSeek-V3, rendendo in grado di gestire sequenze lunghe in modo efficiente senza compromettere le prestazioni. Ciò si ottiene comprimendo coppie di valore chiave in vettori latenti, il che riduce la quantità di dati che devono essere archiviati ed elaborati, accelerando così l'inferenza e migliorando le capacità di applicazione in tempo reale [3] [5] [8].
Citazioni:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-growing-crazy-how-deepseek
[4] https://machinelearningatascale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-they-achieved-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-imodel-on-a-lot-less-and-scripled-hardware/
[8] https://618media.com/en/blog/top-5-features-ofdeepseek-v3-you-should-know/