DeepSeek在HumaneVal和GSM8K等基准上的性能与其他型号相比如何

###性能指标

** Humaneval：DeepSeek在人道基准上得分为73.78％，该基准通过各种编程任务评估编码能力。该分数对其他领先模型（包括OpenAI的产品）有利，尽管在可用来源中未详细介绍与GPT-4或Llama 3这样的模型的特定比较。

** GSM8K：在解决问题的任务中，DeepSeek在GSM8K基准中获得了令人印象深刻的84.1％。该分数反映了其在处理数学推理和复杂解决问题的方案方面的能力。

###效率和资源利用率

DeepSeek的体系结构采用了专家（MOE）系统的混合物，在任务期间仅激活其总参数（6710亿）的一小部分。这种选择性激活不仅可以提高性能，而且可以大大降低计算成本，从而使DeepSeek仅使用280万个GPU小时才能达到这些基准分数，这比许多其他模型要低得多，这些模型需要更广泛的资源来达到相似性能水平[2] [2] [[[2] [[[2] [[[2] [[[2] 3]。

###与其他型号进行比较

尽管在搜索结果中未提供与GPT-4这样的模型的特定直接比较，但据指出，DeepSeek的效率和开源性质使其成为可能发现专有解决方案成本良好的开发人员的替代品。该模型处理长上下文窗口最多128K令牌的能力进一步将其与许多竞争对手区分开，这些竞争对手通常支持更少的令牌（通常在32k和64k之间）[2] [3]。

总而言之，DeepSeek在关键基准上表现出强大的性能，同时保持成本效率和运营效率，这使其成为当代LLM中的值得注意的竞争者。