DeepSeek编码器V1和V2都是用于编码任务的高级AI模型，但它们在体系结构，功能和性能方面表现出几个重大差异。
##密钥差异
###建筑与设计**
- DeepSeek编码器V1是一个基础模型，主要集中于代码生成和分析。它是使用传统变压器架构构建的，上下文长度为16K令牌。
- 后来发布的DeepSeek编码器V2使用了增强的Experts（MOE）体系结构，从而使其可以更有效地处理更复杂的任务。该模型支持更长的上下文长度为128K令牌，可显着提高其处理较大代码片段的能力和更复杂的查询。
###培训数据和性能**
- 培训数据：编码器V1接受了大约200万亿代币的培训，混合了87％的代码和13％的自然语言。相比之下，编码器V2通过另外6万亿代币进行了进一步的预训练，从而增强了其编码和数学推理能力，而不是其前身的编码和数学推理能力。
- 性能基准：与编码器V1和其他封闭源模型（如GPT4-Turbo）相比，编码器V2在各种编码基准中表现出了出色的性能。它特别在涉及代码中数学推理的任务中表现出色，展示了推理和一般语言能力的进步。
###编程语言支持**
- 编码器V1支持有限的编程语言。但是，编码器V2已将此支持从86个编程语言大大扩展到338种，因此对于在不同编码环境中工作的开发人员来说，它的用途更为广泛。
###参数计数**
- 两种模型共享相同的总参数计数为2360亿**；但是，活动参数略有不同。 Coder V2在其基本型号中具有24亿个活动参数，在其指示模型中具有210亿个活动参数，可针对遵循指令遵循的任务进行优化。
###用例**
- 虽然DeepSeek编码器V1适用于基本编码任务，但编码器V2专门针对更广泛的编码应用程序进行了优化，包括但不限于代码完成，插入，自动代码审查和性能优化建议。
总而言之，DeepSeek编码器V2代表了V1的高级体系结构，扩展的编程语言支持，增强的培训数据利用以及改善各种编码基准的性能指标的重大升级。
引用：
[1] https://huggingface.co/deepseek-ai/deepseek-coder-v2-base
[2] https://blog.promptlayer.com/deepseek-v2-vs-coder-v2-a-comparative-analisy/
[3] https://play.ht/blog/deepseek-v3-vs-r1-vs-coder/
[4] https://arxiv.org/html/2406.11931v1
[5] https://deepgram.com/learn/best-local-coding-llm
[6] https://www.reddit.com/r/localllama/comments/1dhx449/deepseekcoderv2_breaking_the_briering_the_barrier_of/
[7] https://deepseekcoder.github.io
[8] https://arxiv.org/pdf/2406.11931.pdf
[9] https://github.com/deepseek-ai/deepseek-coder/?tab=Readme-ov-file