DeepSeek-V3의 정제 된 멀티 헤드 잠재주의 (MLA) 메커니즘은 모델의 추론 프로세스 동안 메모리 요구 사항을 크게 줄임으로써 메모리 성장을 관리하는 데 중요한 역할을합니다. 메모리 효율에 기여하는 방법은 다음과 같습니다.
1. 동적 저 순위 프로젝션 : MLA는 시퀀스 길이에 따라 키/값 벡터의 압축을 조정합니다. 더 짧은 시퀀스의 경우, 충실도를 보존하기 위해 압축이 적을수록, 더 긴 시퀀스 (최대 128k 토큰)의 경우 더 깊은 압축을 사용하여 메모리 성장을 관리합니다. 이 적응 적 접근법은 입력 시퀀스가 매우 긴 상태에서도 메모리 사용량을 유지할 수 있도록 보장합니다 [2] [3].
2. 적응 형 쿼리 압축 : 쿼리 압축에 고정 된 차원을 사용한 DeepSeek-V2와 달리 DeepSeek-V3은 다른 레이어 깊이에서 쿼리의 적응 형 스케일링을 사용합니다. 초기 레이어는 더 나은 표현성을 위해 고차원 쿼리를 사용하는 반면, 더 깊은 레이어는 쿼리를보다 적극적으로 압축하여 활성화 메모리를 저장합니다. 이 전략은 표현력과 효율성의 균형을 유지함으로써 메모리 사용을 최적화한다 [2] [3].
3. 개선 된 로프 처리 : DeepSeek-V3은 V2에서 부분적으로 구현 된 디퍼 커플 링 키의 개념을 확장합니다. "분리 된 공유 키"를 추적 함으로써이 모델은 장기적으로 수치 드리프트를 줄여 확장 된 시퀀스에 비해 안정적인 성능을 보장합니다 [2].
4. 조인트 KV 스토리지 : 압축 키와 값을 별도로 저장 한 V2와 달리 V3는 공유 압축 표현으로 병합됩니다. 이것은 멀티-노드 추론 중 메모리 트래픽을 줄여 메모리 효율을 더욱 향상시킵니다 [2].
5. 계층별 적응 캐시 : 모든 레이어에 대한 모든 과거 토큰을 캐싱하는 대신, V3는 더 깊은 레이어에서 구형 KV 항목을 정리합니다. 이것은 큰 컨텍스트 Windows를 처리 할 때 관리 가능한 한도 내에서 메모리 사용을 유지하는 데 도움이됩니다 [2].
이러한 개선을 구현함으로써 MLA는 DeepSeek-V3의 메모리 풋 프린트를 크게 줄여 성능을 손상시키지 않으면 서 긴 시퀀스를 효율적으로 처리 할 수 있습니다. 이는 키 값 쌍을 잠재 벡터로 압축함으로써 달성되며, 이는 저장 및 처리 해야하는 데이터의 양을 줄여서 추론 속도를 높이고 실시간 응용 프로그램 기능을 향상시킨다 [3] [5] [8].
인용 :
[1] https://www.reddit.com/r/localllama/comments/1htwh4l/deepseekv3_is_insanely_popular_a_671b_models/
[2] https://martinfowler.com/articles/deepseek-papers.html
[3] https://mlnotes.substack.com/p/the-valleys-ging-crazy-how-deepseek
[4] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[5] https://ai.plainenglish.io/deepseek-v3-how-they-achieved-big-gresults-with-small-compute-fb694606d59a
[6] https://www.byteplus.com/en/topic/382517
[7] https://www.nextplatform.com/2025/01/27/how-did-deepseek-train-its-ai-model-on-a-lot-les-nless-and-scrippled-hardware/
[8] https://618media.com/en/blog/top-5-features-of-deepseek-v3-you-should- know/