Deepseek mencapai akurasi tinggi pada tolok ukur AIME 2024 dengan menggunakan beberapa teknik inovatif:
1. Pembuatan Data Pelatihan Terfokus: Deepseek Menghasilkan data pelatihan yang dapat secara otomatis diverifikasi, terutama dalam domain seperti matematika di mana kebenaran tidak ambigu. Pendekatan ini memungkinkan mereka untuk fokus pada menciptakan data yang relevan berkualitas tinggi yang secara langsung berkontribusi untuk meningkatkan kinerja model [1].
2. Fungsi Hadiah Efisien: Mereka mengembangkan fungsi hadiah yang sangat efisien yang dirancang untuk mengidentifikasi contoh pelatihan baru mana yang benar -benar akan meningkatkan model. Strategi ini membantu menghindari membuang -buang sumber daya komputasi pada data yang berlebihan, memastikan bahwa model yang dipelajari dari contoh yang paling berharga [1].
3. Distilasi dan Optimalisasi Model: Deepseek menggunakan teknik distilasi model untuk membuat model yang lebih kecil yang masih mencapai hasil yang mengesankan. Misalnya, model 7B suling mereka melampaui keakuratan model open-source yang lebih besar seperti preview QWQ-32B, meskipun memiliki parameter lebih sedikit. Ini menunjukkan bagaimana pelatihan fokus dapat mengarah pada kinerja yang kuat dalam domain spesifik dengan sumber daya komputasi sederhana [1].
4. Test-Time Compute and Reasoning Chains: Deepseek Model, seperti Deepseek R1, menggunakan teknik yang disebut "Test-Time Compute," yang memungkinkan model untuk menghabiskan lebih banyak waktu dan daya komputasi untuk setiap masalah. Pendekatan ini meniru pertimbangan seperti manusia, menghasilkan respons yang lebih akurat dan bijaksana. Karena model menghasilkan rantai penalaran yang lebih lama, ia dapat memecahkan masalah yang semakin kompleks dengan akurasi yang lebih besar [6].
5. Transparansi dan arsitektur multi-agen: Model Deepseek, khususnya Deepseek-R1, menggunakan arsitektur kolaboratif multi-agen yang mengintegrasikan jalur penalaran beragam. Sinergi ini membantu mengurangi bias khusus tugas dan meningkatkan konsistensi dengan mengurangi variabilitas. Pendekatan terstruktur memungkinkan model untuk secara dinamis memprioritaskan solusi kepercayaan tinggi sambil secara iteratif memperbaiki output yang kurang tertentu [3].
Teknik -teknik ini secara kolektif berkontribusi pada kinerja Deepseek yang mengesankan pada tolok ukur AIME 2024, menunjukkan bagaimana metode pelatihan strategis dan desain model dapat mengungguli kekuatan komputasi mentah dalam mencapai akurasi tinggi.
Kutipan:
[1.
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-oveview-and-how-it-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models