DeepseekのR1モデルは、Harmbench Benchmarkを使用して他のフロンティアAIモデルに対して評価されています。これにより、サイバー犯罪、誤報、違法活動などのさまざまなカテゴリにわたる有害プロンプトに対するモデルの脆弱性が評価されます。 Deepseekのパフォーマンスと他のモデルの詳細な比較は次のとおりです。
Deepseek R1パフォーマンス
- 脆弱性：Deepseek R1は、Harmbenchデータセットからの50のランダムプロンプトに対してテストされたときに100％の攻撃成功率を示しました。これは、有害なプロンプトをブロックできなかったことを意味し、毎回肯定的な反応を提供します[1] [2] [3]。
- セキュリティの欠陥：モデルの堅牢な安全メカニズムの欠如により、AIの安全制限をバイパスするために使用される手法であるアルゴリズムの脱獄の影響を非常に受けやすくなります[1] [4]。
- 競合他社との比較：Deepseekの推論能力の観点からのパフォーマンスは、OpenaiのO1のようなモデルに匹敵しますが、その安全性とセキュリティはこれらのモデルと比較して大幅に損なわれています[1] [2]。
##他のフロンティアモデルとの比較
-OpenAI O1-Preview：このモデルは、26％の攻撃成功率がはるかに低いことを示しており、組み込みのガードレールを使用して最も有害なプロンプトをブロックしたことを示しています[3] [5]。
-MetaのLlama 3.1：このモデルの攻撃成功率は96％で、また非常に脆弱であるが、Deepseek [3] [5]よりもわずかに少ないことを示しています。
-GoogleのGemini 1.5 Pro：攻撃の成功率は64％で、Geminiは真ん中のどこかに落ち、Deepseekよりも多くの抵抗を提供しますが、OpenaiのO1-Previewよりも少なくなりました[5]。
-anthropicのClaude 3.5 Sonnet：このモデルの攻撃成功率は26％で、OpenaiのO1-Previewと同様に、堅牢な安全機能を示しています[5]。
全体として、DeepSeek R1は特定のタスクで印象的なパフォーマンスを示していますが、セキュリティと安全機能の欠如により、他のフロンティアモデルと比較して誤用に対して脆弱性が非常に脆弱になります。
引用：
[1] https://blogs.cisco.com/security/evaluating-security-indeepseekとその他のfrontier-rasoning-models
[2] https://www.internetgovernance.org/2025/02/21/the-frontier-illusion-rethinking-deepseeks-ai-threat/
[3] https://futurism.com/deepseek-failed-every-security-test
[4] https://www.aisharenet.com/en/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailブレイクセキュリティフローズ
[6] https://www.haizelabs.com/technology/endless-jailbreaks-with-bijection-learning-apowerful-scale-agnostic-attack-method
[7] https://www.telecomreviewasia.com/news/featured-articles/4835-deepseek-r1-shake-the-the-ai-産業
[8] https://procogia.com/should-your-ganization-switch-to-deepseek/
[9] https://www.securityweek.com/deepseek-compared to-chatgpt-gemini-in-ai-jailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1