Deepseek erreichte eine hohe Genauigkeit des Benchmarks AIME 2024, indem sie mehrere innovative Techniken einsetzte:
1. Fokussierte Trainingsdatengenerierung: Deepseek generierte Trainingsdaten, die automatisch überprüft werden konnten, insbesondere in Domänen wie Mathematik, in denen die Korrektheit eindeutig ist. Dieser Ansatz ermöglichte es ihnen, sich auf die Erstellung hochwertiger, relevanter Daten zu konzentrieren, die direkt zur Verbesserung der Modellleistung beitragen [1].
2. Effiziente Belohnungsfunktionen: Sie entwickelten hocheffiziente Belohnungsfunktionen, um festzustellen, welche neuen Schulungsbeispiele das Modell tatsächlich verbessern würden. Diese Strategie hat dazu beigetragen, Rechenressourcen für redundante Daten zu verschwenden und sicherzustellen, dass das Modell aus den wertvollsten Beispielen gelernt hat [1].
3. Destillation und Modelloptimierung: Deepseek verwendete Modelldestillationstechniken, um kleinere Modelle zu erstellen, die immer noch beeindruckende Ergebnisse erzielten. Zum Beispiel hat ihr destilliertes 7B-Modell die Genauigkeit größerer Open-Source-Modelle wie QWQ-32B-Präview übertroffen, obwohl sie weniger Parameter hatten. Dies zeigt, wie fokussiertes Training zu einer starken Leistung in bestimmten Bereichen mit bescheidenen Rechenressourcen führen kann [1].
4. TEST-Zeit-Computer- und Argumentationsketten: Deepseek-Modelle wie Deepseek R1 verwenden eine Technik namens "Test-Time-Compute", mit der das Modell mehr Zeit und Rechenleistung für jedes Problem verbringen kann. Dieser Ansatz ahmt menschenähnliche Überlegungen nach und führt zu genaueren und nachdenklicheren Reaktionen. Da das Modell längere Argumentationsketten erzeugt, kann es immer komplexere Probleme mit größerer Genauigkeit lösen [6].
5. Architektur für Transparenz und Multi-Agent: Deepseek-Modelle, insbesondere Deepseek-R1, verwenden eine kollaborative Multi-Agent-Architektur, die verschiedene Argumentationswege integriert. Diese Synergie hilft, aufgabenspezifische Verzerrungen zu mildern und die Konsistenz durch die Verringerung der Variabilität zu verbessern. Der strukturierte Ansatz ermöglicht es dem Modell, hochverträgliche Lösungen dynamisch zu priorisieren und gleichzeitig weniger bestimmte Ausgänge zu verfeinern [3].
Diese Techniken tragen gemeinsam zu Deepseeks beeindruckende Leistung bei der AIME 2024 -Benchmark bei und zeigen, wie strategische Trainingsmethoden und Modelldesign die rohe Rechenleistung bei der Erzielung einer hohen Genauigkeit übertreffen können.
Zitate:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-xpertise-might-matter-more-tan-compute-25/2025/
[2] https://www.reddit.com/r/localllama/comportment/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting- the-rules-of-i-hEvelopment
[9] https://www.inferless.com/learn/the-ultimate-guide-tepseek-models