Tingkat keberhasilan serangan 100% Deepseek R1, seperti yang dilaporkan oleh para peneliti Cisco, menyoroti kerentanannya terhadap serangan permusuhan dibandingkan dengan model AI terkemuka lainnya. Kerentanan ini sangat memprihatinkan karena menunjukkan bahwa Deepseek R1 gagal memblokir salah satu dari 50 prompt berbahaya yang diuji dari dataset Harmbench, yang mencakup kategori -kategori seperti kejahatan dunia maya, informasi yang salah, dan aktivitas ilegal [1] [5] [9].
Sebaliknya, model AI lain telah menunjukkan ketahanan yang lebih baik terhadap serangan seperti itu. Misalnya, model O1 Openai menunjukkan tingkat keberhasilan serangan yang jauh lebih rendah sebesar 26% dalam tes yang sama, menunjukkan bahwa ia mampu memblokir sebagian besar petunjuk berbahaya [6]. Selain itu, model O1 Openai unggul dalam kategori keamanan seperti kebocoran konteks dan jailbreak, dengan tingkat keberhasilan serangan 0%, sedangkan Deepseek R1 berjuang di bidang ini [4].
Google Gemini dan Claude 3.5 Anthropic juga berkinerja lebih baik daripada Deepseek R1 dalam hal keamanan. Gemini mencapai tingkat keberhasilan 35% untuk penyerang, sementara Claude 3,5 memblokir 64% serangan [9]. Perbedaan ini menggarisbawahi perlunya langkah-langkah keamanan yang kuat dalam model AI, karena metode pelatihan yang hemat biaya Deepseek R1 tampaknya telah mengganggu mekanisme keamanannya [6] [9].
Perbandingan ini menyoroti tantangan yang lebih luas dalam industri AI dalam menyeimbangkan efisiensi biaya dengan keamanan dan pertimbangan etis. Sementara Deepseek R1 unggul dalam tolok ukur kinerja, kurangnya pagar keamanan yang kuat membuatnya sangat rentan terhadap penyalahgunaan, menekankan pentingnya evaluasi keamanan yang ketat untuk model AI [1] [5].
Kutipan:
[1] https://thecuberesearch.com/cisco-uncovers-critical-security-flaws-in-deepseek-r1-ai-model/
[2] https://emerj.com/an-ai-cybersecurity-system-may-detect-Attacks-with-85-percent-accuracy/
[3] https://www.popai.pro/educationasset/resources/deepseek-r1-vs-other-ai-odels-a-comprehensive-performance-comparison/
[4] https://splx.ai/blog/deepseek-r1-vs-openai-o1-the-ultimate-security-showdown
[5] https://blogs.cisco.com/security/evaluating-security-risk-in-deepseek-and-other-frontier-reasoning-models
[6] https://www.securityweek.com/deepseek-compared-to-chatgpt-gemini-in-ai-jailbreak-test/
[7] https://www.datacamp.com/blog/deepseek-r1
[8] https://far.ai/post/2025-02-r1-redteaming/
[9] https://www.pcmag.com/news/deepseek-fails-every-safety-test-thrown-at-it-by-searchers
[10] https://writesonic.com/blog/deepseek-vs-catgpt
[11] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws