AIME 2024ベンチマークでのDeepseekのパフォーマンスは、全体的な数学的推論能力に関する重要な洞察を提供します。 AIMEは、高校生にとっての挑戦的な数学競争であり、その厳格で複雑な問題で知られています。 Deepseekのモデルは、このベンチマークで印象的な結果を示しており、高度な数学的概念に取り組む能力を示しています。
###キーパフォーマンスのハイライト
- 精度の成果：DeepseekのモデルはAIME 2024で顕著な精度を達成しました。たとえば、Deepseek R1モデルは52.5％の精度に達し、OpenaiのO1-Previewなどの他のモデルを44.6％上回っていました[5]。さらに、DeepSeekの32Bパラメーターモデルは72.6％の精度を達成しましたが、これは74.4％を獲得した別のモデルO1-0912よりもわずかに低かった[1]。
- 人間のパフォーマンスとの比較：AIMEの人間の参加者の中央値スコアは、歴史的に15の質問のうち4〜6回の正解です。 DeepSeekのモデルは強力なパフォーマンスを示していますが、人間の参加者と同様に、高度な数学的問題を一貫して解決する上で依然として課題に直面しています[7]。
- 推論と問題解決：Deepseekのモデルは、ステップバイステップの推論やツールの使用などの手法を採用することにより、数学的推論に優れています。これは、既存のオープンソースモデルを上回っている他の数学ベンチマークでのパフォーマンスで明らかです[2]。人間のような審議に似た透明な推論プロセスを提供する能力は、彼らの教育的価値と信頼性を高めます[5]。
###制限と課題
- パフォーマンスのばらつき：DeepSeekモデルがバリアントの質問やトレーニングデータに直接含まれていない質問に遭遇した場合、パフォーマンスに顕著なドロップオフがあります。たとえば、特定のテストデータに優れている間、質問のバージョンを変更する能力は限られています[4]。
- ベンチマーク飽和：AIモデルはまだ飽和していないため、AIIMEベンチマークはAIモデルにとって困難なままです。つまり、モデルはこのタスクで大幅に改善できることを意味します[7]。これは、Deepseekが進歩している間、数学的推論にさらなる発展の余地があることを示唆しています。
###将来の意味
AIME 2024でのDeepseekのパフォーマンスは、ドメインの専門知識と効率的なトレーニング技術を組み合わせる際に、AIモデルが数学的推論に優れている可能性を強調しています。このアプローチは、より控えめな計算リソースで強力な結果を達成するより専門的なモデルにつながり、生の計算能力からスマートトレーニング戦略に焦点を移動する可能性があります[1]。 AIが進化し続けるにつれて、Deepseekのようなモデルは、数学的推論能力の境界を押し上げる上で重要な役割を果たします。
引用：
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-matter-more-than-compute-in-2025/
[2] https://github.com/deepseek-ai/deepseek-math
[3] https://www.byteplus.com/en/topic/384068
[4] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[5] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[6] https://www.medrxiv.org/content/10.1101/2025.02.06.25321749v1.full-text
[7] https://www.vals.ai/benchmarks/aime-2025-03-11
[8] https://arxiv.org/html/2503.10573v1
