Антропический обеспечивает безопасность своих моделей ИИ с помощью различных методов и политик, включая политику ответственного масштабирования (RSP), уровни безопасности ИИ (ASL), фильтры безопасности и модели обнаружения [2] [5]. Безопасность пользователя является центральной для миссии Антрика по созданию надежных, интерпретируемых и управляемых систем ИИ [5].
Ключевые меры безопасности:
* Ответственная политика масштабирования (RSP) Antropic разработала RSP для управления рисками, связанными со все более способными моделями ИИ [2]. Политика вводит структуру, называемые уровнями безопасности ИИ (ASL), черпая вдохновение в стандартах правительства США по уровню биобезопасности (BSL), которые используются для обработки опасных биологических материалов [2] [7]. RSP был официально утвержден Советом Антропного, и любые изменения в политике также должны быть одобрены Советом [2].
* Уровни безопасности AI (ASL). Структура ASL предназначена для обеспечения того, чтобы безопасность, безопасность и операционные стандарты были подходящими для потенциала модели для катастрофического риска [2] [7]. Более высокие уровни ASL требуют более строгих демонстраций безопасности [2]. Политика уравновешивает экономическую и социальную ценность ИИ с необходимостью снижения серьезных рисков, особенно катастрофических рисков, которые могут возникнуть в результате преднамеренного неправильного использования или непреднамеренного разрушительного поведения самими моделями [2].
* Безопасные фильтры Антрия использует безопасные фильтры по подсказкам, которые могут блокировать ответы от модели, когда их модели обнаружения помечают содержание как вредное [5]. Они также имеют повышенные фильтры безопасности, которые позволяют им повысить чувствительность своих моделей обнаружения [5]. Антропический может временно применять усиленные фильтры безопасности для пользователей, которые неоднократно нарушают свою политику, и удалять эти средства контроля после периода отсутствия или мало нарушений [5].
* Модели обнаружения в антропах используют модели обнаружения, которые помечают потенциально вредный контент, основанный на их политике использования [5].
Дополнительные гарантии:
* Основные гарантии. Они включают в себя хранение идентификаторов, связанных с каждым вызовом API, чтобы определить конкретный нарушающий контент и назначение идентификаторов пользователям для отслеживания людей, нарушающих AUP ANPORICE [1]. Они также гарантируют, что клиенты понимают разрешенное использование и рассматривают возможность потребовать, чтобы клиенты регистрировались на учетной записи на своей платформе, прежде чем использовать Claude [1].
* Промежуточные гарантии Antropic создает рамки настройки, которые ограничивают взаимодействие конечных пользователей с Claude ограниченным набором подсказок или только позволяют Claude пересматривать конкретный корпус знаний, уменьшая способность пользователей участвовать в насильственном поведении [1]. Они также позволяют дополнительным фильтрам безопасности, которые представляют собой бесплатные инструменты модерации в реальном времени, созданный Antropric для обнаружения потенциально вредных подсказок и управления действиями в реальном времени для уменьшения вреда [1].
* Расширенные гарантии, управляющие API модерации против всех подсказок конечного пользователя, прежде чем они отправлены в Клод, гарантируют, что они не вредны [1].
* Комплексные гарантии Антрия устанавливает внутреннюю систему обзора человека для подсказок, которые отмечены Claude или API модерации как вредные, чтобы они могли вмешаться, чтобы ограничить или удалить пользователей с высокими показателями нарушения [1].
Anpropic также привержен надежности и интерпретации своих систем ИИ, достигаемых за счет строгих исследований и применения передовых методов безопасности [2]. Значительным прорывом в интерпретации является использование Anpropic Sparse AutoEncoders для «моносимантического извлечения признаков», которая упрощает сложные нейронные сети в понятные компоненты [2].
Цитаты:
[1] https://support.anthropic.com/en/articles/9199617-api-rust-sfety-tools
[2] https://klu.ai/glossary/anthropic-ai
[3] https://myscale.com/blog/transformative-influence-anpropic-ai-safety-measures/
[4] https://www.anthropic.com/news/frontier-model-security
[5] https://support.anthropic.com/en/articles/8106465-our-proach-to-user-sare
[6] https://www.alignmentforum.org/posts/xhkr5ktvdjrssmej3/anthropic-s-core-views-on-ai-afety
[7] https://www.anthropic.com/news/anthpics-recessible-scalling-policy
[8] https://engineeringideas.substack.com/p/comments-on-anthropics-ai-sare
[9] https://www.youtube.com/watch?v=e6_x0zoxvvi
[10] https://www.anthropic.com/news/core-views-on--ai-sare