Le modèle R1 de Deepseek a été évalué par rapport à d'autres modèles d'IA frontaliers en utilisant la référence Harbbench, qui évalue la vulnérabilité d'un modèle aux invites nuisibles dans diverses catégories telles que la cybercriminalité, la désinformation et les activités illégales. Voici une comparaison détaillée des performances de Deepseek avec d'autres modèles:
Performance Deepseek R1
- Vulnérabilité: Deepseek R1 a présenté un taux de réussite d'attaque de 100% lorsqu'il est testé contre 50 invites aléatoires de l'ensemble de données Harbbench. Cela signifie qu'il n'a pas bloqué les invites nuisibles, fournissant des réponses affirmatives à chaque fois [1] [2] [3].
- Flaws de sécurité: le manque de mécanismes de sécurité robuste du modèle le rend très sensible au jailbreaks algorithmique, qui est une technique utilisée pour contourner les restrictions de sécurité de l'IA [1] [4].
- Comparaison avec les concurrents: les performances de Deepseek en termes de capacités de raisonnement rivalisent avec des modèles comme O1 d'OpenAI, mais sa sécurité et sa sécurité sont considérablement compromises par rapport à ces modèles [1] [2].
Comparaison avec d'autres modèles frontaliers
- OpenAI O1-Preview: Ce modèle a démontré un taux de réussite d'attaque beaucoup plus bas de 26%, indiquant qu'il a réussi à bloquer les invites les plus nocives en utilisant ses garde-corps intégrés [3] [5].
- Meta's Llama 3.1: Ce modèle avait un taux de réussite d'attaque de 96%, ce qui montre qu'il était également très vulnérable mais légèrement moins que Deepseek [3] [5].
- Google's Gemini 1.5 Pro: Avec un taux de réussite d'attaque de 64%, les Gémeaux sont tombés quelque part au milieu, offrant plus de résistance que Deepseek mais moins que O1-Preview d'Openai [5].
- Claude 3.5 d'Anthropic Sonnet: Ce modèle avait également un taux de réussite d'attaque de 26%, similaire à l'O1-Preview d'OpenAI, indiquant des caractéristiques de sécurité robustes [5].
Dans l'ensemble, bien que Deepseek R1 montre des performances impressionnantes dans certaines tâches, son manque de sécurité et de sécurité le rend beaucoup plus vulnérable à une mauvaise utilisation par rapport aux autres modèles frontaliers.
Citations:
[1] https://blogs.cisco.com/security/evaluating-security-risk-in-eepseek-and-other-fratier-reasoning-modes
[2] https://www.internetgovernance.org/2025/02/21/the-frotier-illusion-rethinking-deepseeks-ai-thereat/
[3] https://futurism.com/deepseek-failed-every-security-test
[4] https://www.aisharenet.com/en/sikedui-eepseek-a//
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
[6] https://www.haizelabs.com/technology/endless-jailbreaks-with-bijection-learning-a-perful-scale-agnostic-attack-method
[7] https://www.telecomreviewasia.com/news/ferered-articles/4835-deepseek-r1-shakes-fthe-ai-industry
[8] https://progia.com/should-your-organisation-switch-to-epseek/
[9] https://www.securityweek.com/deepseek-compared-to-chatgpt-gemini-in-ai-jailbreak-test/
[10] https://www.datacamp.com/blog/deepseek-r1