Deepseeks R1 -modell har utvärderats mot andra gränser för gränsen AI med hjälp av HarmBench Benchmark, som utvärderar en modells sårbarhet för skadliga instruktioner i olika kategorier som cyberbrott, felinformation och olaglig aktivitet. Här är en detaljerad jämförelse av Deepseeks prestanda med andra modeller:
Deepseek R1 Performance
- Sårbarhet: Deepseek R1 uppvisade en framgångsrate på 100% attack när de testades mot 50 slumpmässiga instruktioner från HarmBench -datasättet. Detta innebär att det misslyckades med att blockera några skadliga instruktioner, vilket ger bekräftande svar varje gång [1] [2] [3].
- Säkerhetsfel: Modellens brist på robusta säkerhetsmekanismer gör den mycket mottaglig för algoritmisk jailbreaking, som är en teknik som används för att kringgå AI -säkerhetsbegränsningar [1] [4].
- Jämförelse med konkurrenter: Deepseeks prestanda när det gäller resonemangskapaciteter konkurrerar modeller som OpenAI: s O1, men dess säkerhet och säkerhet komprometteras avsevärt jämfört med dessa modeller [1] [2].
Jämförelse med andra gränsmodeller
-OpenAI O1-PREVIEW: Denna modell visade en mycket lägre attackframgång på 26%, vilket indikerar att den framgångsrikt blockerade de mest skadliga anvisningarna med sina inbyggda skyddsräcken [3] [5].
- Metas lama 3.1: Denna modell hade en attackframgång på 96%, vilket visade att den också var mycket sårbar men något mindre än Deepseek [3] [5].
- Googles Gemini 1.5 Pro: Med en framgångsgrad på 64%, föll Gemini någonstans i mitten, och erbjuder mer motstånd än Deepseek men mindre än OpenAI: s O1-PREVIEW [5].
- Anthropic's Claude 3.5 Sonnet: Denna modell hade också en attackframgång på 26%, liknande OpenAI: s O1-förhandsvisning, vilket indikerar robusta säkerhetsfunktioner [5].
Sammantaget, medan Deepseek R1 visar imponerande prestanda i vissa uppgifter, gör dess brist på säkerhets- och säkerhetsfunktioner det betydligt mer sårbart för missbruk jämfört med andra gränsmodeller.
Citeringar:
]
]
[3] https://futurism.com/deepseek-failed-every-security-test
[4] https://www.aisharenet.com/en/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-laws
]
]
]
]
[10] https://www.datacamp.com/blog/deepseek-r1