Deepseek menunjukkan kinerja yang unggul di atas chatgpt dalam skenario pembelajaran nol-shot dalam kondisi tertentu. Berikut adalah area utama di mana Deepseek unggul:
kemampuan penalaran yang ditingkatkan
Model Deepseek, terutama Deepseek R-1 dan R-1-Zero, telah menunjukkan peningkatan yang signifikan dalam tugas penalaran dibandingkan dengan chatgpt. Dalam tolok ukur seperti AIME dan GPQA, Deepseek R-1-Zero mengungguli model O1 Openai, mencapai akurasi lulus@1 sebesar 71,0%, yang dapat didorong lebih lanjut menjadi 86,7% dengan teknik pemungutan suara mayoritas [1] [2]. Ini menunjukkan bahwa Deepseek sangat mahir dalam tugas yang membutuhkan penalaran logis tanpa contoh sebelumnya.Menangani pengetahuan khusus domain
Arsitektur Deepseek mencakup modul khusus untuk berbagai domain, seperti matematika dan pengkodean. Modul -modul ini memungkinkannya untuk berkinerja lebih baik dalam konteks teknis dibandingkan dengan chatgpt, yang lebih umum. Dalam tes khusus, Deepseek V3 telah mengungguli chatgpt dalam skenario pembelajaran zero-shot, terutama dalam penalaran matematika dan tugas pemrograman [3] [4].sensitivitas terhadap teknik yang diminta
Model Deepseek telah diamati untuk berkinerja lebih baik dengan dorongan nol-shot daripada dorongan beberapa tembakan. Ini kontras dengan chatgpt, di mana beberapa konteks tembakan dapat meningkatkan kinerja. Rekomendasi untuk Deepseek adalah menggunakan instruksi yang jelas dan ringkas dalam pengaturan nol-shot untuk hasil yang optimal, yang selaras dengan temuan dari penelitian Microsoft tentang model penalaran [1] [2].belajar dan adaptasi
Proses pelatihan Deepseek R-1-Zero memungkinkannya untuk mengembangkan perilaku penalaran yang canggih secara mandiri. Seiring waktu, ia belajar untuk mengoreksi diri dan memvalidasi outputnya sendiri, yang mengarah pada peningkatan akurasi dalam tugas penalaran yang kompleks [1]. Kemampuan peningkatan diri ini adalah keuntungan penting dalam skenario zero-shot di mana model harus menghasilkan respons tanpa konteks sebelumnya yang luas.Singkatnya, Deepseek mengungguli chatgpt dalam pembelajaran zero-shot terutama karena peningkatan kemampuan penalaran, penanganan pengetahuan domain khusus, teknik pendorongan yang efektif, dan mekanisme belajar mandiri yang kuat. Faktor -faktor ini membuatnya sangat cocok untuk tugas yang membutuhkan konsistensi logis dan akurasi teknis.
Kutipan:[1] https://www.prompthub.us/blog/deepseek-r-1-model-oveview-and-how-it-ranks-against-openais-o1
[2] https://prompthub.substack.com/p/have-the-chinese-overtaken-openai
[3.
[4] https://aclanthology.org/2024.nemnlp-main.408.pdf
[5] https://www.youtube.com/watch?v=7hccf8nm8nm
[6] https://news.ycombinator.com/item?id=42823568
[7] https://www.reddit.com/r/localllama/comments/1i9txf3/deepseek_is_way_better_in_python_code_generation/
[8] https://arxiv.org/html/2405.04434v4