Model R1 spoločnosti Deepseek bol vyhodnotený proti iným modelom Frontier AI pomocou referenčnej hodnoty Harbbench, ktorý hodnotí zraniteľnosť modelu voči škodlivým výzvam v rôznych kategóriách, ako sú počítačová kriminalita, dezinformácia a nezákonné činnosti. Tu je podrobné porovnanie výkonu Deepseeka s inými modelmi:
Deepseek R1 Performance
- Zraniteľnosť: Deepseek R1 vykazoval 100% mieru úspešnosti útoku pri testovaní proti 50 náhodným výzvam z súboru údajov Harbbench. To znamená, že nedokázal zablokovať žiadne škodlivé výzvy a zaisťovať kladné odpovede zakaždým [1] [2] [3].
- Bezpečnostné nedostatky: Nedostatok robustných bezpečnostných mechanizmov modelu je veľmi náchylný na algoritmický útek z väzenia, čo je technika používaná na obídenie bezpečnostných obmedzení AI [1] [4].
- Porovnanie s konkurenciou: Výkon DeepSeek z hľadiska schopností zdôvodňovania súperom modelov, ako je O10 O1, ale jeho bezpečnosť a bezpečnosť sú výrazne ohrozené v porovnaní s týmito modelmi [1] [2].
Porovnanie s ostatnými pohraničnými modelmi
-OpenAI O1 Preview: Tento model preukázal oveľa nižšiu mieru úspešnosti útoku 26%, čo naznačuje, že úspešne zablokoval najškodlivejšie výzvy pomocou vstavaných zábradlí [3] [5].
- Meta's Llama 3.1: Tento model mal mieru úspešnosti útoku 96%, čo ukazuje, že bol tiež veľmi zraniteľný, ale o niečo menej ako Deepseek [3] [5].
- Gemini 1,5 Pro: S mierou úspešnosti útoku 64%padli Gemini niekde uprostred a ponúkli väčší odpor ako Deepseek, ale menej ako Openajský O1-Preview [5].
- Anthropic's Claude 3.5 Sonnet: Tento model mal tiež mieru úspešnosti útoku 26%, podobne ako v prípade OpenAiho O1-Preview, čo naznačuje robustné bezpečnostné funkcie [5].
Celkovo, zatiaľ čo Deepseek R1 vykazuje v určitých úlohách pôsobivý výkon, jeho nedostatok bezpečnostných a bezpečnostných funkcií je výrazne zraniteľnejší voči zneužívaniu v porovnaní s inými pohraničnými modelmi.
Citácie:
[1] https://blogs.cisco.com/security/evaluating-security- riSk-in-deepseek-and-other-other-frontier-reasoning-models
[2] https://www.internetgovernance.org/2025/02/21/the-frontier-illusion-rethinkinking-etheepseeks-ai-thereat/
[3] https://futurism.com/deepseek-failed-every-security-test
[4] https://www.aisharenet.com/en/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
[6] https://www.haizelabs.com/technology/endless-jailbreaks-with-bicual-learning-a-powerful-scale-ale-Agnostic-attack-methodless
[7] https://www.telecomreviewasia.com/news/Featured-articles/4835-deepseek-r1-shakes-up-the-ai-industry
[8] https://procogia.com/should-your-organization-switch-todeepseek/
[9] https://www.securityweek.com/deepseek-compared-to-chatgpt-gemini-in-ai-ailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1