Deepseek-R1 แสดงให้เห็นถึงประสิทธิภาพที่แข็งแกร่งในการวัดประสิทธิภาพที่หลากหลายรวมถึงทั้งมาตรฐาน SWE ที่ผ่านการตรวจสอบแล้ว นี่คือการเปรียบเทียบรายละเอียดของประสิทธิภาพในการวัดประสิทธิภาพทั้งสองนี้:
SWE ตรวจสอบเกณฑ์มาตรฐาน
ในเกณฑ์มาตรฐาน SWE ที่ผ่านการตรวจสอบแล้ว Deepseek-R1 จะได้คะแนน 49.2%ซึ่งอยู่ข้างหน้า Openai ของ O1-1217 เล็กน้อยที่ 48.9%[2] [3] เกณฑ์มาตรฐานนี้ประเมินเหตุผลของแบบจำลองในงานวิศวกรรมซอฟต์แวร์โดยมุ่งเน้นไปที่งานต่าง ๆ เช่นการตรวจสอบรหัสและการดีบัก ในขณะที่ Deepseek-R1 ทำงานได้ดี Claude-3.5-Sonnet-1022 ขอบเล็กน้อยด้วยคะแนน 50.8%[3]benchmark codeforces
ในทางตรงกันข้าม Deepseek-R1 เก่งในเกณฑ์มาตรฐาน CodeForces โดยได้เปอร์เซ็นไทล์ 96.3 และคะแนน ELO ของ 2029 [3] [4] สถานที่นี้เป็นหนึ่งในนักแสดงชั้นนำในการเขียนโค้ดที่แข่งขันได้อย่างใกล้ชิดหลังจาก OpenAI O1-1217 ซึ่งนำไปสู่เปอร์เซ็นต์ไทล์ที่ 96.6 และคะแนน 2061 [3] เกณฑ์มาตรฐาน CodeForces ประเมินความสามารถในการเขียนโค้ดและอัลกอริทึมของแบบจำลองโดยการเปรียบเทียบประสิทธิภาพกับผู้เข้าร่วมของมนุษย์การเปรียบเทียบ
ในขณะที่ Deepseek-R1 ดำเนินการแข่งขันทั้งสองมาตรฐานประสิทธิภาพการทำงานของมันเด่นชัดมากขึ้นในเกณฑ์มาตรฐาน CodeForces สิ่งนี้ชี้ให้เห็นว่า Deepseek-R1 มีความเชี่ยวชาญโดยเฉพาะอย่างยิ่งในการแก้ปัญหาอัลกอริทึมและความท้าทายในการเข้ารหัสซึ่งมีโครงสร้างมากขึ้นและต้องใช้เหตุผลเชิงตรรกะที่แม่นยำ ในเกณฑ์มาตรฐานที่ผ่านการตรวจสอบแล้ว SWE ในขณะที่ทำงานได้ดีมันมีความโดดเด่นน้อยกว่าเล็กน้อยเมื่อเทียบกับประสิทธิภาพของ CodeForces สิ่งนี้บ่งชี้ว่า Deepseek-R1 อาจเหมาะกับงานที่ต้องใช้การใช้เหตุผลอัลกอริทึมมากกว่าที่มุ่งเน้นการตรวจสอบซอฟต์แวร์และการดีบักโดยรวมแล้ว Deepseek-R1 แสดงให้เห็นถึงความสามารถรอบตัวในการเข้ารหัสและการใช้เหตุผลประเภทต่าง ๆ แต่จุดแข็งของมันจะเห็นได้ชัดมากขึ้นในการแก้ปัญหาอัลกอริทึม
การอ้างอิง:
[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[2] https://www.datacamp.com/blog/deepseek-r1
[3] https://blog.getbind.co/2025/01/23/deepseek-r1-vs-gpt-o1-vs-claude-3-5-sonnet-wich-is-best-for-coding/
[4] https://techcrunch.com/2025/01/27/deepseek-claims-its-reasoning-model-beats-openais-o1-on-on-certain-benchmarks/
[5] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-deepseek-r1-already-better-Than-O3- เมื่อเปรียบเทียบกับ costs
[6] https://blog.promptlayer.com/openai-o3-vs-deepseek-r1-an-analysis-of-reasoning-models/
[7] https://huggingface.co/deepseek-ai/deepseek-r1
[8] https://arxiv.org/html/2501.12948v1