Das R1 -Modell von Deepseek wurde anhand des Harmbench -Benchmarks an anderen Grenz -KI -Modellen bewertet, wodurch die Anfälligkeit eines Modells für schädliche Aufforderungen in verschiedenen Kategorien wie Cyberkriminalität, Fehlinformation und illegale Aktivitäten bewertet wird. Hier ist ein detaillierter Vergleich von Deepseeks Leistung mit anderen Modellen:
Deepseek R1 Performance
- Sicherheitsanfälligkeit: Deepseek R1 zeigte eine 100% ige Erfolgsquote, wenn sie gegen 50 zufällige Eingabeaufforderungen aus dem Harmbench -Datensatz getestet wurden. Dies bedeutet, dass es keine schädlichen Eingabeaufforderungen blockierte und jedes Mal positive Antworten lieferte [1] [2] [3].
- Sicherheitsfehler: Der Mangel an robusten Sicherheitsmechanismen des Modells macht es sehr anfällig für algorithmische Jailbreaking.
- Vergleich mit Wettbewerbern: Die Leistung von Deepseek hinsichtlich der Argumentationsfunktionen Konkurrenten Modelle wie OpenAs O1, aber seine Sicherheit ist im Vergleich zu diesen Modellen erheblich beeinträchtigt [1] [2].
Vergleich mit anderen Grenzmodellen
.
- Lama 3.1 von Meta: Dieses Modell hatte eine Angriffserfolgsrate von 96%, was zeigt, dass es auch sehr verletzlich war, aber etwas weniger als Deepseek [3] [5].
- Googles Gemini 1.5 Pro: Mit einer Angriffserfolgsrate von 64%fiel Gemini irgendwo in der Mitte und bietet mehr Widerstand als Deepseek, aber weniger als Openais O1-Vorsicht [5].
- Claude 3.5 Sonett von Anthropic: Dieses Modell hatte auch eine Angriffserfolgsrate von 26%, ähnlich wie die O1-Vorsicht von OpenAI, was auf robuste Sicherheitsmerkmale hinweist [5].
Während Deepseek R1 bei bestimmten Aufgaben eine beeindruckende Leistung aufweist, macht es sein mangelnder Sicherheits- und Sicherheitsmerkmale im Vergleich zu anderen Grenzmodellen deutlich anfälliger für Missbrauch.
Zitate:
[1] https://blogs.cisco.com/security/evaluating-security-risk-indeepseek-and-other-frontier-rasoning-models
[2] https://www.internetgovernance.org/2025/02/21/the-frutier-illusion-rethinking-yepseeks-heks-ai-threat/
[3] https://futurism.com/deepseek-failed-ety-security-Test
[4] https://www.aisharenet.com/en/sikedui-yepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
[6] https://www.haizelabs.com/technology/endless-jailbreak-with-bijection-learning-a-powerful-scale-agnostic-attack-method
[7] https://www.telecomreviewasia.com/news/featured-articles/4835-leepseek-r1-shakes-up-the-ai-industry
[8] https://procogia.com/should-your-organization-schitch-tepseek/
[9] https://www.securityweek.com/deepseek-compared-t-chatgpt--i-in-ai-jailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1