Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon Bagaimana kinerja Deepseek di Humaneval Dibandingkan dengan GPT-4


Bagaimana kinerja Deepseek di Humaneval Dibandingkan dengan GPT-4


Kinerja Deepseek di tolok ukur manusia menunjukkan keunggulan penting dibandingkan GPT-4. Secara khusus, Deepseek mencapai tingkat kelulusan 73,78% pada humaneval, yang mengevaluasi kemampuan pengkodean, sementara GPT-4 mencetak sekitar 67% dalam evaluasi yang sama [1] [2]. Ini menunjukkan bahwa Deepseek lebih efektif dalam menghasilkan dan menyelesaikan masalah pengkodean dibandingkan dengan GPT-4.

Dalam hal efisiensi, Deepseek menggunakan arsitektur campuran-eksperta (MOE) yang hanya mengaktifkan 37 miliar dari total 671 miliar parameter untuk tugas, memungkinkannya untuk mempertahankan kinerja tinggi dengan biaya komputasi yang jauh lebih rendah dilaporkan 214,3 kali lebih murah daripada GPT lebih murah daripada GPT lebih murah daripada GPT 214,3 kali lebih murah daripada GPT 214,3 kali lebih murah daripada GPT 214,3 kali lebih murah daripada GPT 214,3 kali lebih murah daripada GPT 214,3 kali lebih murah -4 untuk pemrosesan token [1] [2]. Efisiensi ini diterjemahkan menjadi generasi kode yang lebih cepat dan lebih tepat dan kemampuan debugging, menjadikan Deepseek pilihan yang menarik bagi pengembang.

Selain itu, jendela konteks Deepseek secara substansial lebih besar pada token 128K, dibandingkan dengan maksimum GPT-4 dari 8K token, memungkinkannya untuk menangani input yang lebih luas selama pemrosesan [1] [2]. Fitur ini dapat sangat menguntungkan untuk tugas pengkodean kompleks yang membutuhkan konteks yang lebih besar.

Secara keseluruhan, Deepseek tidak hanya melampaui GPT-4 dalam hal pengkodean kinerja pada humaneval tetapi juga menawarkan manfaat biaya dan efisiensi yang signifikan, memposisikan dirinya sebagai alternatif yang kuat dalam lanskap model bahasa besar.

Kutipan:
[1] https://daily.dev/blog/deepseek-everything-you-need-to-now-about-this-new-llm-in-one-place
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/