Deepseekコーダーのパフォーマンスは、87％のコードと13％の自然言語の構成によって大きな影響を受けます。このユニークなブレンドにより、モデルはプログラミング言語の強力なコンテキストの理解を維持しながら、さまざまなコーディングタスクで優れています。
##コード構成の影響
1。コーディングパフォーマンスの強化：トレーニングデータのコードの割合が高いと、DeepSeek CoderはHumanevalやMBPPなどのコーディングベンチマークで最先端の結果を達成できます。スコアは最大90.2％の精度** [1] [1] [ 5]。このパフォーマンスは、多くの既存のオープンソースおよび独自のモデルを上回り、モデルが正確なコードスニペットの生成に特に熟練していることを示しています。
2。自然言語の理解：主に英語と中国語の13％の自然言語データを含めると、コメント、ドキュメント、およびユーザーの指示を理解して生成するモデルの能力が向上します。この言語的コンテキストは、コード生成だけでなく、自然言語での説明や相互作用も必要とするタスクにとって重要であり、異なるプログラミングシナリオ[2] [4]にわたってモデルを多用途にします。
3。コンテキスト認識：Deepseek Coderは、プロジェクト内のクロスファイル依存関係を理解できるように、リポジトリレベルのトレーニングを採用しています。この機能は、広範なコードデータによって強化されており、複数のファイルに効果的に及ぶ複雑なコーディングの課題を解決できるようにします[1]。長いシーケンス（最大16,384トークン、128K **まで拡張可能）でコンテキストを維持するモデルの能力は、大規模なソフトウェアプロジェクトでパフォーマンスをさらに向上させます[1]。
4。埋め込まれた中（FIM）トレーニング：この革新的なトレーニング戦略により、既存のコードブロック内のギャップを記入してモデルをコードを生成できます。かなりの量のコードデータがこの機能をサポートし、開発者にとって重要なモデルのデバッグとコードの完了能力を改善します[1] [3]。
5。命令チューニング：モデルは、コードと自然言語の両方の指示を含む追加データを使用して、命令チューニングを受けます。このプロセスは、ユーザークエリに正確に応答し、コンテキストに関連するコードスニペットを生成する能力を改善し、コーディングの専門知識と言語機能の両方を活用します[1] [5]。
要約すると、87％のコードと13％の自然言語の特定の構成には、プログラミングコンテンツを効果的に理解および生成するための堅牢なフレームワークをDeepSeek Coderに装備しています。このバランスは、コーディングパフォーマンスを向上させるだけでなく、人間の言語で効果的に通信できるようにし、開発者にとって強力なツールになります。
引用：
[1] https://blog.premai.io/open-source-code-language-models-deepseek-and-beyond/
[2] https://dataloop.ai/library/model/thebloke_deepseek-coder-67b-base-awq/
[3] https://github.com/deepseek-ai/deepseek-coder/?tab=readme-ov-file
[4] https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-base
[5] https://arxiv.org/html/2406.11931v1
[6] https://arxiv.org/pdf/2401.14196.pdf
[7] https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-base
[8] https://dataloop.ai/library/model/deepseek-ai_deepseek-coder-67b-instruct/