Deepseekは、特にDeepseek R1などのモデルで、式生成と数学的推論のために、さまざまな高度な機械学習アルゴリズムを利用しています。採用されている特定の手法の詳細な概要は次のとおりです。
1。チェーンオブオブサート(COT)プロンプト：Deepseek R1は、数学的推論を強化するために長い思考のチェーンを活用します。これには、人間が複雑な問題を解決する方法と同様に、段階的な推論プロセスを通じてモデルを導く方法でプロンプトを構築することが含まれます[2]。これらのCOTプロンプトに基づいて合成トレーニングデータを生成することにより、DeepSeek R1は、より大きなモデルよりも効果的に数学的な問題を解決する能力を向上させることができます。
2。コールドスタート微調整：最初に、Deepseek R1は、ステップバイステップの推論を備えたコンパクトデータセットを使用してコールドスタートスタート微調整を受けます。この初期段階は、モデルの推論能力の強固な基盤を設定します[6] [8]。コールドスタートデータの使用は、問題解決に対する構造化されたアプローチの確立に役立ちます。
3。強化学習(RL)：最初の微調整に続いて、DeepSeek R1は純粋な強化学習を採用して推論スキルを向上させます。このプロセスでは、数学的な問題に段階的なソリューションを提供するなど、モデルを望ましい動作に向けてモデルを微調整するためのサンプル回答を自動的にスコアリングすることが含まれます[7] [8]。 RLは、ラベル付きデータに依存せずに推論するモデルの能力を開発するために重要です。
4。拒否サンプリングと監視された微調整：RLプロセスの収束近くで、DeepSeek R1は拒絶サンプリングを使用して合成データを生成します。この合成データは、モデルの知識と精度をさらに改善するために、さまざまなドメインの監視されたデータと統合されます[8]。このステップにより、モデルが高品質の出力と多様なドメイン固有の知識の両方から学習することが保証されます。
5。グループ相対ポリシー最適化(GRPO)：Deepseekは、強化学習をより効率的にするために設計された新しいアルゴリズムであるGRPOを開発しました。 GRPOは、トレーニングプロセスを最適化するために使用され、複数のベンチマークでモデルをうまく実行できます[7]。 GRPOはフォーミュラ生成について特別に詳細ではありませんが、DeepSeekのトレーニングプロセスの全体的な効率に貢献しています。
6.マルチステージトレーニングプロセス：Deepseek R1が採用したマルチステージトレーニングアプローチには、微調整と強化学習のさまざまな段階を繰り返します。各ステージは前の段階に基づいて構築され、モデルが読みやすさとコヒーレンスを維持しながら堅牢な推論能力を開発することを保証します[6] [8]。この構造化されたアプローチは、数学的推論タスクで高性能を達成するための鍵です。
要約すると、Deepseekのフォーミュラ生成機能は、高度なNLP技術、強化学習戦略、GRPOなどの革新的なアルゴリズムの組み合わせによってサポートされています。これらの方法により、DeepSeekモデルは数学的な推論と問題解決タスクに優れています。
引用：
[1] https://kalm.works/en/contents/technology/what-is-deepseek-differences-from-chatgpt-and-use-cases
[2] https://www.youtube.com/watch?v=pabqg33surg
[3] https://planetbanatt.net/articles/deepseek.html
[4] https://martinfowler.com/articles/deepseek-papers.html
[5] https://www.inferless.com/learn/the- gultimate-guide-to-deepseek-models
[6] https://www.reddit.com/r/singularity/comments/1i9lkbh/deepseekr1_how_did_they_make_an_openaileevel/
[7] https://www.technologyreview.com/2025/01/31/1110740/how-deepseek-ripped-up-the-ai-playbook-and-- everyones-toy-follow-it/
[8] https://www.vellum.ai/blog/the-training-of-deepseek-r1-ned-ways-to-use-it