Deepseek, birkaç yenilikçi teknik kullanarak AIME 2024 ölçütünde yüksek doğruluk elde etti:
1. Odaklanmış eğitim veri üretimi: Deepseek, özellikle doğruluğun açık olduğu matematik gibi alanlarda otomatik olarak doğrulanabilecek eğitim verileri üretildi. Bu yaklaşım, model performansının iyileştirilmesine doğrudan katkıda bulunan yüksek kaliteli, ilgili veriler yaratmaya odaklanmalarını sağladı [1].
2. Verimli ödül fonksiyonları: Hangi yeni eğitim örneklerinin modeli gerçekten geliştireceğini belirlemek için tasarlanmış yüksek verimli ödül fonksiyonları geliştirdiler. Bu strateji, modelin en değerli örneklerden öğrenilmesini sağlayarak gereksiz veriler üzerinde hesaplama kaynaklarının boşa harcanmasını önlemeye yardımcı oldu [1].
3. Damıtma ve model optimizasyonu: Deepseek, hala etkileyici sonuçlar elde eden daha küçük modeller oluşturmak için model damıtma tekniklerini kullandı. Örneğin, damıtılmış 7B modelleri, daha az parametreye sahip olmasına rağmen, QWQ-32B önleme gibi daha büyük açık kaynaklı modellerin doğruluğunu aştı. Bu, odaklanmış eğitimin mütevazı hesaplama kaynaklarına sahip belirli alanlarda güçlü performansa yol açabileceğini göstermektedir [1].
4. Test-zaman hesaplama ve akıl yürütme zincirleri: Deepseek R1 gibi Deepseek modelleri, modelin her sorun için daha fazla zaman ve hesaplama gücü harcamasını sağlayan "Test-Time Compute" adlı bir teknik kullanın. Bu yaklaşım insan benzeri müzakereyi taklit ederek daha doğru ve düşünceli tepkilerle sonuçlanır. Model daha uzun akıl yürütme zincirleri ürettiğinden, daha fazla doğrulukla giderek daha karmaşık sorunları çözebilir [6].
5. Şeffaflık ve çok ajan mimari: Deepseek modelleri, özellikle Deepseek-R1, çeşitli akıl yürütme yollarını entegre eden çok ajan bir işbirlikçi mimariyi kullanır. Bu sinerji, göreve özgü önyargıları azaltmaya yardımcı olur ve değişkenliği azaltarak tutarlılığı artırır. Yapılandırılmış yaklaşım, modelin daha az kesin çıktıları yinelemeli olarak iyileştirirken yüksek güven çözeltilerini dinamik olarak önceliklendirmesine izin verir [3].
Bu teknikler, Deepseek'in AIME 2024 ölçütündeki etkileyici performansına katkıda bulunur ve stratejik eğitim yöntemlerinin ve model tasarımının yüksek doğruluk elde etmede ham hesaplama gücünden nasıl daha iyi performans gösterebileceğini göstermiştir.
Alıntılar:
[1] https://www.geekwire.com/2025/deepseeks-new-model-hows-that-ai-a-xpertise-might-more-than-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performe/
[3] https://arxiv.org/html/25053.10573v1
[4] https://www.prompthub.us/blog/deepseek-1-model-overview-and-how-it-ragainst-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-i-i-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-ai-a-de-deelopment
[9] https://www.inferless.com/learn/the-ultate-guide-to-depseek-models