Το ποσοστό επιτυχίας 100% επίθεσης του Deepseek R1, όπως αναφέρθηκε από τους ερευνητές της Cisco, υπογραμμίζει την ευπάθεια του σε αντιφατικές επιθέσεις σε σύγκριση με άλλα εξέχοντα μοντέλα AI. Αυτή η ευπάθεια αφορά ιδιαίτερα επειδή δείχνει ότι το Deepseek R1 απέτυχε να εμποδίσει οποιαδήποτε από τις 50 επιβλαβείς προτροπές που δοκιμάστηκαν από το σύνολο δεδομένων Harmbench, το οποίο περιλαμβάνει κατηγορίες όπως το έγκλημα του κυβερνοχώρου, η παραπληροφόρηση και οι παράνομες δραστηριότητες [1] [5] [9].
Αντίθετα, άλλα μοντέλα AI έχουν επιδείξει καλύτερη ανθεκτικότητα σε τέτοιες επιθέσεις. Για παράδειγμα, το μοντέλο O1 του OpenAI έδειξε σημαντικά χαμηλότερο ποσοστό επιτυχίας επίθεσης 26% σε παρόμοιες δοκιμές, υποδεικνύοντας ότι ήταν σε θέση να εμποδίσει ένα σημαντικό μέρος των επιβλαβών προτροπών [6]. Επιπλέον, το μοντέλο O1 του OpenAI διακρίθηκε σε κατηγορίες ασφαλείας όπως η διαρροή περιβάλλοντος και το jailbreak, με ποσοστό επιτυχίας επίθεσης 0%, ενώ η DeepSeek R1 αγωνίστηκε σε αυτούς τους τομείς [4].
Το CLAUDE 3.5 της Google της Google και το Claude 3.5 εκτελούσε επίσης καλύτερα από το Deepseek R1 όσον αφορά την ασφάλεια. Ο Δίδυμος πέτυχε ποσοστό επιτυχίας 35% για τους επιτιθέμενους, ενώ ο Claude 3,5 αποκλείει το 64% των επιθέσεων [9]. Αυτή η ανισότητα υπογραμμίζει την ανάγκη για ισχυρά μέτρα ασφαλείας στα μοντέλα AI, καθώς οι οικονομικές μεθόδους κατάρτισης του Deepseek R1 φαίνεται να έχουν διακυβεύσει τους μηχανισμούς ασφαλείας [6] [9].
Η σύγκριση υπογραμμίζει την ευρύτερη πρόκληση στη βιομηχανία AI της εξισορρόπησης της αποδοτικότητας του κόστους με την ασφάλεια και τις ηθικές εκτιμήσεις. Ενώ το Deepseek R1 υπερέχει στα σημεία αναφοράς των επιδόσεων, η έλλειψη ισχυρών προστατευμάτων ασφαλείας καθιστά εξαιρετικά ευαίσθητη σε κακή χρήση, δίνοντας έμφαση στη σημασία των αυστηρών αξιολογήσεων ασφαλείας για τα μοντέλα AI [1] [5].
Αναφορές:
[1] https://thecuberesearch.com/cisco-uncovers-critical-security-flaws-in-deepseek-r1-ai-model/
[2] https://emerj.com/an-ai-cybersecurity-system-may-detect-attacks-with-85 %-accuracy/
[3] https://www.popai.pro/educationasset/resources/deepseek-r1-vs-other-ai-models-a-comperhenser-performance-comparison/
[4] https://splx.ai/blog/deepseek-r1-vs-openai-o1-the-putimate security-showdown
[5] https://blogs.cisco.com/security/evaluating-security-risk-in-deepseek-and-other-frontier-reasoning-models
[6] https://www.securityweek.com/deepseek-commared-to-chatgpt-gemini-in-ai-jailbreak-test/
[7] https://www.datacamp.com/blog/deepseek-r1
[8] https://far.ai/post/2025-02-r1-redteaming/
[9] https://www.pcmag.com/news/deepseek-fails-every-safety-test-thrown-at-it-by-researsers
[10] https://writesonic.com/blog/deepseek-vs-chatgpt
[11] https://www.itpro.com/technology/artificial-intelligence/deepseek-r1-model-jailbreak-security-flaws