Anthropic assure la sécurité de ses modèles d'IA à travers une variété de techniques et de politiques, notamment la politique de mise à l'échelle responsable (RSP), les niveaux de sécurité de l'IA (ASL), les filtres de sécurité et les modèles de détection [2] [5]. La sécurité des utilisateurs est au cœur de la mission d'Anthropic de créer des systèmes d'IA fiables, interprétables et orientables [5].
Mesures de sécurité clés:
* Anthropic de politique de mise à l'échelle responsable (RSP) a développé le RSP pour gérer les risques liés à des modèles d'IA de plus en plus capables [2]. La politique introduit un cadre appelé AI Safety Celets (ASL), s'inspirant des normes de niveau de biosécurité du gouvernement américain (BSL) qui sont utilisées pour gérer les matériaux biologiques dangereux [2] [7]. Le RSP a été officiellement approuvé par le conseil d'administration d'Anthropic, et toute modification de la politique doit également être approuvée par le Conseil [2].
* Niveaux de sécurité AI (ASL) Le cadre ASL est conçu pour garantir que les normes de sécurité, de sécurité et opérationnelles conviennent au potentiel de risque catastrophique d'un modèle [2] [7]. Des niveaux ASL plus élevés exigent des démonstrations de sécurité plus strictes [2]. La politique équilibre la valeur économique et sociale de l'IA avec la nécessité d'atténuer les risques graves, en particulier les risques catastrophiques qui pourraient résulter d'une mauvaise utilisation délibérée ou de comportements destructeurs involontaires par les modèles eux-mêmes [2].
* Filtres de sécurité Anthropic utilise des filtres de sécurité sur des invites, ce qui peut bloquer les réponses du modèle lorsque leurs modèles de détection signalent le contenu comme nocif [5]. Ils ont également des filtres de sécurité améliorés, ce qui leur permet d'augmenter la sensibilité de leurs modèles de détection [5]. Anthropic peut temporairement appliquer des filtres de sécurité améliorés aux utilisateurs qui violent à plusieurs reprises leurs politiques et supprimer ces contrôles après une période de non-violations [5].
* Les modèles de détection Anthropic utilisent des modèles de détection qui signalent un contenu potentiellement nocif en fonction de leur politique d'utilisation [5].
Sauvegardes supplémentaires:
* Garannières de base, celles-ci incluent le stockage des ID liés à chaque appel API pour identifier le contenu violant spécifique et attribuer des identifiants aux utilisateurs pour suivre les individus violant Anthropic's AUP [1]. Ils s'assurent également que les clients comprennent les utilisations autorisées et envisagent d'obliger les clients à s'inscrire à un compte sur leur plate-forme avant d'utiliser Claude [1].
* Les sauvegardes intermédiaires Anthropic crée des cadres de personnalisation qui restreignent les interactions de l'utilisateur final avec Claude à un ensemble limité d'invites ou permettent uniquement à Claude de revoir un corpus de connaissances spécifique, diminuant la capacité des utilisateurs à adopter un comportement violant [1]. Ils permettent également des filtres de sécurité supplémentaires, qui sont des outils de modération gratuits en temps réel construits par anthropic pour aider à détecter les invites potentiellement nocives et à gérer les actions en temps réel pour réduire les dommages [1].
* Des garanties avancées exécutant une API de modération contre toutes les invites de l'utilisateur final avant d'être envoyées à Claude garantit qu'elles ne sont pas nocives [1].
* Des garanties complètes Anthropic mettent en place un système de révision humain interne pour signaler les invites qui sont marquées par Claude ou une API de modération comme nocive, afin qu'ils puissent intervenir pour restreindre ou supprimer les utilisateurs avec des taux de violation élevés [1].
Anthropic s'est également engagé dans la fiabilité et l'interprétabilité de ses systèmes d'IA, réalisés grâce à des recherches rigoureuses et à l'application de techniques de sécurité avancées [2]. Une percée importante dans l'interprétabilité est l'utilisation d'Anthropic d'autoencodeurs clairsemés pour «l'extraction des caractéristiques monosémantiques», ce qui simplifie les réseaux de neurones complexes en composants compréhensibles [2].
Citations:
[1] https://support.anthropic.com/en/articles/9199617-api-trust-saafet-tools
[2] https://klu.ai/glossary/anthropic-ai
[3] https://myscale.com/blog/transformative-influence-anthropic-ai-safety-measures/
[4] https://www.anthropic.com/news/frontier-model-security
[5] https://support.anthropic.com/en/articles/8106465-our-approach-to-user-safety
[6] https://www.alignmentforum.org/posts/xhkr5ktvdjrssmej3/anthropic-score-iews-on-ai-safety
[7] https://www.anthropic.com/news/anthropics-raconsable-scaling-policy
[8] https://engineeheredeas.substack.com/p/comments-on-anthropics-ai-safety
[9] https://www.youtube.com/watch?v=e6_x0zoxvvi
[10] https://www.anthropic.com/news/core-views-on-ai-safety