Deepseekov model R1 je bil ovrednoten proti drugim modelom obmejnih AI z uporabo referenčnega merila Harmbench, ki ocenjuje ranljivost modela za škodljive pozive v različnih kategorijah, kot so kibernetska kriminaliteta, napačne informacije in nezakonite dejavnosti. Tu je podrobna primerjava uspešnosti Deepseeka z drugimi modeli:
Deepseek R1 Performance
- Ranljivost: Deepseek R1 je pokazal 100 -odstotno stopnjo uspešnosti napada, ko je bil testiran na 50 naključnih pozivov iz nabora podatkov o Harmbenchu. To pomeni, da ni uspelo blokirati nobenih škodljivih pozivov, ki bi vsakič, ko [1] [2] [3] zagotavljajo pritrdilne odzive.
- Napake v varnosti: pomanjkanje močnih varnostnih mehanizmov modela je zelo dovzetno za algoritmično jailbreaking, ki je tehnika, ki se uporablja za zaoblikovanje varnostnih omejitev AI [1] [4].
- Primerjava s konkurenti: Deepseekova uspešnost v smislu modelov sklepanja, kot je OpenAI -jev O1, vendar sta njegova varnost in varnost v primerjavi s temi modeli znatno ogrožena [1] [2].
Primerjava z drugimi mejnimi modeli
-OpenAI O1-Preview: Ta model je pokazal veliko nižjo stopnjo uspeha 26%, kar kaže, da je uspešno blokiral najbolj škodljive pozive z uporabo vgrajenih varovalk [3] [5].
- Meta's LLAMA 3.1: Ta model je imel stopnjo uspešnosti napada 96%, kar je pokazalo, da je bil tudi zelo ranljiv, a nekoliko manj kot Deepseek [3] [5].
- Googlov Gemini 1.5 Pro: Z 64%uspehom napade je Gemini padel nekje na sredini, kar je nudilo več odpornosti kot Deepseek, vendar manj kot OpenAI-jev predogled O1 [5].
- Antropic's Claude 3.5 Sonnet: Ta model je imel tudi 26-odstotno stopnjo uspeha napada, podobno kot OpenAI-jev predvidnost O1, kar kaže na robustne varnostne značilnosti [5].
Na splošno, medtem ko Deepseek R1 pri nekaterih nalogah kaže impresivne zmogljivosti, zaradi pomanjkanja varnostnih in varnostnih lastnosti bistveno bolj ranljivo za zlorabo v primerjavi z drugimi mejnimi modeli.
Navedbe:
[1] https://blogs.cisco.com/security/evaluting-security-risk-in-diepseek-and-other-frontier-loasoning-models
[2] https://www.internetGovernance.org/2025/02/21/the-frontier-illinsing-rethinking-deepseeks-ai-treat/
[3] https://futurism.com/deepseek-failed-everry-security-test
[4] https://www.aisharenet.com/sl/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
[6] https://www.haizelabs.com/Technology/endless-jailbreaks-with-bith-earning-a-mowerful-scale-agnostic-attack-method
[7] https://www.telecomReviewasia.com/news/feated-articles/4835-deepseek-r1-shakes-phe-the-ai-industry
[8] https://procogia.com/should-your-organizacija-switch-to-epseek/
[9] https://www.securityweek.com/deepseek-compared-to-chatgpt-gemini-in-ai-jailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1