人类通过各种技术和政策确保其AI模型的安全性，包括负责任的缩放策略（RSP），AI安全水平（ASL），安全过滤器和检测模型[2] [5]。用户安全是Anthropic的使命创建可靠，可解释且可通话的AI系统的核心[5]。
关键安全措施：
*负责任的缩放策略（RSP）人类发展了RSP，以管理与越来越有能力的AI模型相关的风险[2]。该政策引入了一个称为AI安全水平（ASL）的框架，从美国政府的生物安全水平（BSL）标准中汲取灵感，该标准用于处理危险的生物材料[2] [7]。 RSP已获得人类董事会正式批准，该政策的任何更改也必须得到董事会的批准[2]。
* AI安全水平（ASL）ASL框架旨在确保安全，保障和操作标准适合模型的灾难性风险潜力[2] [7]。较高的ASL水平需要更严格的安全证明[2]。该政策平衡了人工智能的经济和社会价值与减轻严重风险的需要，尤其是灾难性风险，这些风险可能是由于模型本身而导致故意滥用或意外破坏性行为引起的[2]。
*安全过滤器人类对手在提示上使用安全过滤器，当他们的检测模型将内容标记为有害时，该提示可能会阻止模型的响应[5]。它们还具有增强的安全过滤器，这使他们可以提高其检测模型的灵敏度[5]。拟人化可能会暂时将增强的安全过滤器应用于反复违反其政策的用户，并在一段或很少的违规情况下删除这些控件[5]。
*检测模型人类使用的检测模型，这些模型根据其使用策略标记潜在有害内容[5]。
其他保障措施：
*基本保障措施包括存储与每个API调用链接的ID，以查明特定的违规内容，并将ID分配给用户以跟踪违反人类AUP的个人[1]。他们还确保客户了解允许的用途，并考虑要求客户在使用Claude之前在其平台上注册帐户[1]。
*中级保护措施人为创建自定义框架，从而将最终用户与克劳德的交互限制为有限的提示集，或者仅允许克劳德（Claude）审查特定的知识语料库，从而降低用户从事违规行为的能力[1]。它们还可以实现其他安全过滤器，这些安全过滤器是由人类构建的免费实时审核工具，用于帮助检测潜在的有害提示和管理实时操作以减少伤害[1]。
*在将所有最终用户提示发送到Claude之前，对所有最终用户提示进行了审核API的高级保障措施确保它们不有害[1]。
*全面的保护措施人类设置了一个内部的人类审查系统，以标记以克劳德（Claude）或适度API为特征的提示，因此他们可以干预以限制或删除具有高违规率的用户[1]。
通过严格的研究和先进的安全技术的应用，拟人化也致力于其AI系统的可靠性和解释性[2]。可解释性的一个重大突破是拟人化对稀疏自动编码器用于“单义特征提取”的使用，这将复杂的神经网络简化为可理解的组件[2]。
引用：
[1] https://support.anththropic.com/en/articles/9199617-api-trust-safety-tools
[2] https://klu.ai/glossary/anthropic-ai
[3] https://myscale.com/blog/transformative-influence-anththropic-ai-safety-measures/
[4] https://www.anththropic.com/news/frontier-model-security
[5] https://support.anththropic.com/en/articles/8106465-our-apphach-to-user-safety
[6] https://www.alignmentforum.org/posts/xhkr5ktvdjrssmej3/anthropic-s-core-views-on-ai-safety
[7] https://www.anthropic.com/news/anththropics-responsible-scaling-policy
[8] https://engineeringideas.substack.com/p/comments-on-anththropics-ai-safety
[9] https://www.youtube.com/watch?v=e6_x0z0zoxvvi
[10] https://www.anththropic.com/news/core-views-on-ai-safety