Deepseek menggunakan berbagai algoritma pembelajaran mesin canggih untuk pembuatan formula dan penalaran matematika, terutama dalam model seperti Deepseek R1. Berikut gambaran terperinci tentang teknik spesifik yang digunakan:
1. Rantai-pemikiran (COT) meminta: Deepseek R1 memanfaatkan rantai pemikiran yang panjang untuk meningkatkan penalaran matematika. Ini melibatkan penataan bisikan dengan cara yang memandu model melalui proses penalaran langkah demi langkah, mirip dengan bagaimana manusia memecahkan masalah yang kompleks [2]. Dengan menghasilkan data pelatihan sintetis berdasarkan coT coT ini, Deepseek R1 dapat meningkatkan kemampuannya untuk memecahkan masalah matematika lebih efektif daripada model yang lebih besar.
2. Cold Start Fine-tuning: Awalnya, Deepseek R1 mengalami fine-tuning start dingin menggunakan dataset ringkas yang menampilkan penalaran langkah demi langkah. Tahap awal ini menetapkan fondasi yang kuat untuk kemampuan penalaran model [6] [8]. Penggunaan data start dingin membantu dalam membangun pendekatan terstruktur untuk pemecahan masalah.
3. Penguatan Pembelajaran (RL): Mengikuti penyempurnaan awal, Deepseek R1 menggunakan pembelajaran penguatan murni untuk meningkatkan keterampilan penalarannya. Proses ini melibatkan secara otomatis mencetak jawaban sampel untuk mendorong model ke arah perilaku yang diinginkan, seperti memberikan solusi langkah demi langkah untuk masalah matematika [7] [8]. RL sangat penting untuk mengembangkan kemampuan model untuk bernalar tanpa mengandalkan data berlabel.
4. Pengambilan sampel penolakan dan penyesuaian yang diawasi: dekat konvergensi proses RL, Deepseek R1 menggunakan pengambilan sampel penolakan untuk menghasilkan data sintetis. Data sintetis ini kemudian digabungkan dengan data yang diawasi dari berbagai domain untuk lebih menyempurnakan pengetahuan dan akurasi model [8]. Langkah ini memastikan bahwa model ini belajar dari output berkualitas tinggi dan beragam pengetahuan domain.
5. Optimasi Kebijakan Relatif Grup (GRPO): Deepseek telah mengembangkan GRPO, algoritma baru yang dirancang untuk membuat pembelajaran penguatan lebih efisien. GRPO digunakan untuk mengoptimalkan proses pelatihan, memungkinkan model untuk melakukan dengan baik di beberapa tolok ukur [7]. Sementara GRPO tidak secara khusus dirinci untuk pembuatan formula, ini berkontribusi pada efisiensi keseluruhan proses pelatihan Deepseek.
6. Proses pelatihan multi-tahap: Pendekatan pelatihan multi-tahap yang diadopsi oleh Deepseek R1 melibatkan iterasi melalui berbagai tahap pembelajaran penyesuaian dan penguatan. Setiap tahap dibangun di atas yang sebelumnya, memastikan bahwa model mengembangkan kemampuan penalaran yang kuat sambil mempertahankan keterbacaan dan koherensi [6] [8]. Pendekatan terstruktur ini adalah kunci untuk mencapai kinerja tinggi dalam tugas penalaran matematika.
Singkatnya, kemampuan pembuatan formula Deepseek didukung oleh kombinasi teknik NLP canggih, strategi pembelajaran penguatan, dan algoritma inovatif seperti GRPO. Metode-metode ini memungkinkan model Deepseek untuk unggul dalam penalaran matematika dan tugas pemecahan masalah.
Kutipan:
[1] https://kalm.works/en/contents/technology/what-is-deepseek-differences-from-catgpt-and-use-cases
[2] https://www.youtube.com/watch?v=pabqg33surg
[3] https://planetbanatt.net/articles/deepseek.html
[4] https://martinfowler.com/articles/deepseek-papers.html
[5] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models
[6] https://www.reddit.com/r/singularity/comments/1i9lkbh/deepseekr1_how_did_they_make_an_openailevel/
[7] https://www.technologyreview.com/2025/01/31/1110740/how-deepseek-ripped-up-the-ai-playbook-and-why-everyones-loing-tollow-it-it/
[8] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it