El mecanismo de atención latente múltiple (MLA) refinado en Deepseek-V3 juega un papel crucial en la gestión del crecimiento de la memoria al reducir significativamente los requisitos de memoria durante el proceso de inferencia del modelo. Así es como contribuye a la eficiencia de la memoria:
1. Proyección dinámica de bajo rango: MLA ajusta la compresión de vectores clave/valor en función de la longitud de la secuencia. Para secuencias más cortas, se aplica menos compresión para preservar la fidelidad, mientras que para secuencias más largas (hasta 128k tokens), se utiliza una compresión más profunda para gestionar el crecimiento de la memoria. Este enfoque adaptativo garantiza que el uso de la memoria sea manejable incluso con secuencias de entrada muy largas [2] [3].
2. Compresión de consulta adaptativa: a diferencia de Deepseek-V2, que utilizó una dimensión fija para la compresión de consultas, Deepseek-V3 emplea la escala adaptativa de consultas a diferentes profundidades de capa. Las primeras capas utilizan consultas de dimensiones más altas para una mejor expresividad, mientras que las capas más profundas comprimen más agresivamente consultas para salvar la memoria de activación. Esta estrategia optimiza el uso de la memoria al equilibrar la expresividad con la eficiencia [2] [3].
3. Manejo mejorado de la cuerda: Deepseek-v3 extiende el concepto de claves de desacoplamiento, que se implementó parcialmente en V2. Al rastrear una "clave compartida desacoplada", el modelo reduce la deriva numérica en generaciones largas, asegurando un rendimiento estable sobre secuencias extendidas [2].
4. Almacenamiento de KV de unión: a diferencia de V2, que almacenó claves y valores comprimidos por separado, V3 los fusiona en una representación comprimida compartida. Esto reduce el tráfico de memoria durante la inferencia de nodos múltiples, mejorando aún más la eficiencia de la memoria [2].
5. Cache adaptativo en forma de capa: en lugar de almacenar en caché todos los tokens pasados para todas las capas, las entradas de KV más antiguas de V3 en las capas más profundas. Esto ayuda a mantener el uso de la memoria dentro de los límites manejables cuando se trata de grandes ventanas de contexto [2].
Al implementar estos refinamientos, MLA reduce significativamente la huella de memoria de Deepseek-V3, lo que lo hace capaz de manejar secuencias largas de manera eficiente sin comprometer el rendimiento. Esto se logra comprimiendo pares de valor clave en vectores latentes, lo que reduce la cantidad de datos que deben almacenarse y procesarse, lo que acelera la inferencia y la mejora de las capacidades de aplicación en tiempo real [3] [5] [8].
Citas:
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-inging-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.painenglish.io/deepseek-v3-how-they-achieved-big-results-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-less-and-crippled-hardware/
[8] https://618media.com/en/blog/top-5-fature-ofdeepseek-v3-you-should-know/