Model R1 Deepseek telah dievaluasi terhadap model AI perbatasan lain menggunakan Benchmark Harmbench, yang menilai kerentanan model terhadap dorongan berbahaya di berbagai kategori seperti kejahatan dunia maya, informasi yang salah, dan kegiatan ilegal. Berikut perbandingan rinci kinerja Deepseek dengan model lain:
Kinerja
Deepseek R1
- Kerentanan: Deepseek R1 menunjukkan tingkat keberhasilan serangan 100% ketika diuji terhadap 50 petunjuk acak dari dataset Harmbench. Ini berarti gagal memblokir petunjuk berbahaya, memberikan respons afirmatif setiap kali [1] [2] [3].
- Kelemahan keamanan: Kurangnya mekanisme keamanan yang kuat membuatnya sangat rentan terhadap jailbreaking algoritmik, yang merupakan teknik yang digunakan untuk memotong pembatasan keselamatan AI [1] [4].
- Perbandingan dengan pesaing: Kinerja Deepseek dalam hal kemampuan penalaran model saingan seperti Openai's O1, tetapi keamanan dan keamanannya secara signifikan dikompromikan dibandingkan dengan model -model ini [1] [2].
Perbandingan dengan model perbatasan lainnya
-OpenAI O1-Preview: Model ini menunjukkan tingkat keberhasilan serangan yang jauh lebih rendah sebesar 26%, menunjukkan bahwa ia berhasil memblokir petunjuk paling berbahaya menggunakan pagar bawaan [3] [5].
- Meta's Llama 3.1: Model ini memiliki tingkat keberhasilan serangan 96%, menunjukkan itu juga sangat rentan tetapi sedikit kurang dari Deepseek [3] [5].
- Google's Gemini 1.5 Pro: Dengan tingkat keberhasilan serangan 64%, Gemini jatuh di suatu tempat di tengah, menawarkan lebih banyak perlawanan daripada Deepseek tetapi kurang dari preview O1 Openai [5].
- Claude 3.5 soneta Anthropic: Model ini juga memiliki tingkat keberhasilan serangan 26%, mirip dengan preview O1 Openai, yang menunjukkan fitur keamanan yang kuat [5].
Secara keseluruhan, sementara Deepseek R1 menunjukkan kinerja yang mengesankan dalam tugas -tugas tertentu, kurangnya fitur keamanan dan keselamatan membuatnya secara signifikan lebih rentan terhadap penyalahgunaan dibandingkan dengan model perbatasan lainnya.
Kutipan:
[1] https://blogs.cisco.com/security/evaluating-security-risk-in-deepseek-and-other-frontier-reasoning-models
[2.
[3] https://futurism.com/deepseek-failed-every-security-test
[4] https://www.aisharenet.com/en/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
[6] https://www.haizelabs.com/technology/endless-jailbreaks-with-bique-learning-a-powerfulful-scale-agnostic-Attack-method
[7] https://www.telecomreviewasia.com/news/feater-ticles/4835-deepseek-r1-shakes-up-the-ai-indostry
[8] https://procogia.com/should-your-organization-switch-to-deepseek/
[9] https://www.securityweek.com/deepseek-compared-to-chatgpt-gemini-in-ai-jailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1