Deepseek a atteint une grande précision sur la référence AIME 2024 en utilisant plusieurs techniques innovantes:
1. Génération de données de formation ciblée: les données de formation générées par Deepseek qui pourraient être automatiquement vérifiées, en particulier dans des domaines comme les mathématiques où l'exactitude est sans ambiguïté. Cette approche leur a permis de se concentrer sur la création de données pertinentes de haute qualité qui contribuent directement à l'amélioration des performances du modèle [1].
2. Fonctions de récompense efficaces: ils ont développé des fonctions de récompense très efficaces conçues pour identifier les nouveaux exemples de formation amélioreraient réellement le modèle. Cette stratégie a aidé à éviter de gaspiller les ressources informatiques sur les données redondantes, garantissant que le modèle a appris des exemples les plus précieux [1].
3. Distillation et optimisation du modèle: Deepseek a utilisé des techniques de distillation du modèle pour créer des modèles plus petits qui ont encore obtenu des résultats impressionnants. Par exemple, leur modèle 7B distillé a dépassé la précision de modèles open source plus grands comme QWQ-32B-Preview, malgré moins de paramètres. Cela montre comment la formation ciblée peut conduire à de fortes performances dans des domaines spécifiques avec des ressources de calcul modestes [1].
4. Test-Time Compute and Reasoning Chains: Deepseek Les modèles, tels que Deepseek R1, utilisent une technique appelée «calcul de test de test», qui permet au modèle de passer plus de temps et de puissance de calcul sur chaque problème. Cette approche imite la délibération humaine, entraînant des réponses plus précises et réfléchies. Comme le modèle génère des chaînes de raisonnement plus longues, elle peut résoudre des problèmes de plus en plus complexes avec une plus grande précision [6].
5. Transparence et architecture multi-agents: les modèles Deepseek, en particulier Deepseek-R1, utilisent une architecture collaborative multi-agents qui intègre diverses voies de raisonnement. Cette synergie aide à atténuer les biais spécifiques aux tâches et améliore la cohérence en réduisant la variabilité. L'approche structurée permet au modèle de hiérarchiser dynamiquement les solutions de confiance élevée tout en affinant itérativement moins de certaines sorties [3].
Ces techniques contribuent collectivement aux performances impressionnantes de Deepseek sur la référence AIME 2024, montrant comment les méthodes de formation stratégique et la conception du modèle peuvent surpasser le pouvoir de calcul brut pour atteindre une grande précision.
Citations:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertis-might-matter-more-than-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-epseek-models