Deepseeks R1 -model er blevet evalueret mod andre Frontier AI -modeller ved hjælp af Harmbench -benchmark, som vurderer en modells sårbarhed over for skadelige anmodninger på tværs af forskellige kategorier, såsom cyberkriminalitet, forkert information og ulovlige aktiviteter. Her er en detaljeret sammenligning af Deepseeks præstation med andre modeller:
Deepseek R1 Performance
- Sårbarhed: Deepseek R1 udviste en 100% angrebssuccesrate, når den blev testet mod 50 tilfældige prompter fra Harmbench -datasættet. Dette betyder, at det ikke blokerede for skadelige prompter og leverede bekræftende svar hver gang [1] [2] [3].
- Sikkerhedsfejl: Modellens mangel på robuste sikkerhedsmekanismer gør den meget modtagelig for algoritmisk jailbreaking, som er en teknik, der bruges til at omgå AI -sikkerhedsbegrænsninger [1] [4].
- Sammenligning med konkurrenter: Deepseeks præstation med hensyn til ræsonnementskapacitet Rivaler modeller som Openais O1, men dens sikkerhed og sikkerhed kompromitteres markant sammenlignet med disse modeller [1] [2].
Sammenligning med andre grænsemodeller
-Openai O1-Preview: Denne model demonstrerede en meget lavere angrebssucces på 26%, hvilket indikerer, at den med succes blokerede de fleste skadelige anmodninger ved hjælp af sine indbyggede rækværk [3] [5].
- Metas LLAMA 3.1: Denne model havde en angrebssucces på 96%, hvilket viste, at den også var meget sårbar, men lidt mindre end Deepseek [3] [5].
- Googles Gemini 1.5 Pro: Med en angrebsucces på 64%faldt Gemini et sted i midten og tilbyder mere modstand end Deepseek, men mindre end Openai's O1-Forud [5].
- Anthropics Claude 3.5 Sonnet: Denne model havde også en angrebsucces på 26%, svarende til Openais O1-forudgående, hvilket indikerer robuste sikkerhedsfunktioner [5].
Samlet set, mens Deepseek R1 viser imponerende ydelse i visse opgaver, gør dens mangel på sikkerheds- og sikkerhedsfunktioner det betydeligt mere sårbart over for misbrug sammenlignet med andre grænsemodeller.
Citater:
)
)
[3] https://futurism.com/deepseek-failed-sycurity-test
[4] https://www.aisharenet.com/en/sikedui-deepseek-a/
[5] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws
)
[7] https://www.telecomreviewasia.com/news/featured-articles/4835 deepseek-r1-shakes-up-the-i-industri
)
)
[10] https://www.datacamp.com/blog/deepseek-r1