Anthrope garantiza la seguridad de sus modelos de IA a través de una variedad de técnicas y políticas, incluida la Política de Escala Responsable (RSP), los niveles de seguridad de IA (ASL), los filtros de seguridad y los modelos de detección [2] [5]. La seguridad del usuario es fundamental para la misión de Anthrope de crear sistemas IA confiables, interpretables y orientables [5].
Medidas de seguridad clave:
* La política de escala responsable (RSP) antrópico desarrolló el RSP para gestionar los riesgos vinculados a modelos AI cada vez más capaces [2]. La política introduce un marco llamado niveles de seguridad de IA (ASL), inspirándose en los estándares de nivel de bioseguridad del gobierno de los EE. UU. (BSL) que se utilizan para manejar materiales biológicos peligrosos [2] [7]. El RSP ha sido aprobado formalmente por la Junta de Anthrope, y cualquier cambio en la Política también debe ser aprobado por la Junta [2].
* Niveles de seguridad de IA (ASL) El marco ASL está diseñado para garantizar que la seguridad y los estándares operativos sean apropiados para el potencial de un modelo de riesgo catastrófico [2] [7]. Los niveles más altos de ASL exigen demostraciones de seguridad más estrictas [2]. La política equilibra el valor económico y social de la IA con la necesidad de mitigar los riesgos severos, especialmente los riesgos catastróficos que podrían surgir del mal uso deliberado o los comportamientos destructivos involuntarios por parte de los propios modelos [2].
* Los filtros de seguridad antrópico usan filtros de seguridad en las indicaciones, lo que puede bloquear las respuestas del modelo cuando sus modelos de detección indican el contenido como dañino [5]. También tienen filtros de seguridad mejorados, que les permiten aumentar la sensibilidad de sus modelos de detección [5]. Anthrope puede aplicar temporalmente filtros de seguridad mejorados a los usuarios que violan repetidamente sus políticas y eliminar estos controles después de un período de no o pocas violaciones [5].
* Modelos de detección Anthrope utiliza modelos de detección que marcan contenido potencialmente dañino en función de su política de uso [5].
salvaguardas adicionales:
* Salvaguardas básicas Estas incluyen el almacenamiento de IDS vinculados con cada llamada API para identificar contenido de violación específico y asignar ID a los usuarios para rastrear a las personas que violan Anthrope S AUP [1]. También se aseguran de que los clientes comprendan los usos permitidos y consideren exigir a los clientes que se registren para una cuenta en su plataforma antes de utilizar Claude [1].
* Las salvaguardas intermedias antrópicas crean marcos de personalización que restringen las interacciones del usuario final con Claude a un conjunto limitado de indicaciones o solo permiten que Claude revise un corpus de conocimiento específico, disminuyendo la capacidad de los usuarios para participar en un comportamiento de violación [1]. También permiten filtros de seguridad adicionales, que son herramientas de moderación en tiempo real gratuitas construidas por Anthrope para ayudar a detectar indicaciones potencialmente dañinas y administrar acciones en tiempo real para reducir el daño [1].
* Las salvaguardas avanzadas que ejecutan una API de moderación contra todas las indicaciones del usuario final antes de que se envíen a Claude asegura que no sean dañinos [1].
* Las salvaguardas integrales antrópicas establecen un sistema interno de revisión humana para indicar indicaciones marcadas por Claude o una API de moderación como dañino, por lo que pueden intervenir para restringir o eliminar a los usuarios con altas tasas de violación [1].
Anthrope también está comprometido con la confiabilidad e interpretabilidad de sus sistemas de IA, logrados a través de una investigación rigurosa y la aplicación de técnicas de seguridad avanzadas [2]. Un avance significativo en la interpretabilidad es el uso de AutoCoders de Anthrope para la 'extracción de características monosemánticas', que simplifica las redes neuronales complejas en componentes comprensibles [2].
Citas:
[1] https://support.anthropic.com/en/articles/9199617-api-trust-safety-tools
[2] https://klu.ai/glossary/anthropic-ai
[3] https://myscale.com/blog/transformative-influence-anthropic-ai-safety-measures/
[4] https://www.anthropic.com/news/frontier-model-security
[5] https://support.anthropic.com/en/articles/8106465-ur-prochet-to-user-safety
[6] https://www.alignmentforum.org/posts/xhkr5ktvdjrssmej3/anthropy-s-core-views-on-ai-safety
[7] https://www.anthropic.com/news/ANTROPICS-RESPONSIBLE-ScALING-POLICY
[8] https://engineeringideas.substack.com/p/comments-on-anthropics-ai-safety
[9] https://www.youtube.com/watch?v=e6_x0zoxvvi
[10] https://www.anthropic.com/news/core-views-on-ai-safety