Creating custom guardrails for the DeepSeek-R1 model involves several steps, leveraging Amazon Bedrock's capabilities to enhance safety and control in generative AI applications. Вот подробное руководство о том, как реализовать эти ограждения:
предпосылки
Перед настройкой ограждений убедитесь, что у вас есть учетная запись AWS с доступом к Amazon Bedrock и необходимым разрешениям IAM. Кроме того, вы уже должны были импортировать модель DeepSeek-R1, используя функцию импорта модели Amazon Bedrock [4].
Шаг 1: Настройка среды
1. Доступ к Bedrock Amazon: перейдите к консоли Amazon Bedrock и убедитесь, что у вас есть доступ к модели DeepSeek-R1.
2. Установите зависимости: используйте ноутбук Jupyter или аналогичную среду для установки необходимых зависимостей. Это можно сделать с помощью библиотек Python, таких как `boto3` для взаимодействия с службами AWS [4].
Шаг 2: Настройка Guardrails
1. Создайте Guardrail: используйте консоль управления AWS или программный подход через `Boto3`, чтобы создать ограждение. This involves defining policies tailored to your specific use case, such as content filters, topic filters, word filters, and sensitive information filters[2][4].
2. Настройте фильтры: например, если вы работаете в контексте здравоохранения, вы можете создать ограждение под названием «Фильтры здравоохранения». Установите силу фильтра как для ввода, так и для вывода на «высокий» для таких категорий, как ненависть, оскорбления, сексуальное содержание и насилие [1].
3. Enable Prompt Guarding: Implement guardrails to prevent prompt attacks by configuring them to detect and block harmful or inappropriate prompts before they reach the model[3][4].
Шаг 3: Тестирование ограждений
1. Вызове модель API: используйте API `InvokeModel, чтобы проверить ваши ограждения. Это включает в себя инициализацию токенизатора и клиента выполнения ручной работы для взаимодействия с моделью [1].
2. Запустите тестовые случаи: начните со сценария без ограждений, чтобы наблюдать необработанные ответы от модели. Затем повторно затроните те же подсказки с ограждениями, которые позволили увидеть, как они вмешиваются и блокируют неподходящее содержание [1].
3. Evaluate Performance: Assess the effectiveness of your guardrails by testing them against various inputs, such as restricted topics or sensitive information, to ensure they correctly identify and block harmful content[4].
Шаг 4: Рафинирование ограждений
1. Adjust Filters: Based on test results, refine your guardrail policies by adjusting filter strengths or adding new filters as needed to better match your use case requirements[7].
2. Blocked Messaging: Configure blocked messaging to provide appropriate responses when guardrails intervene, ensuring a seamless user experience while maintaining safety standards[7].
Заключение
Implementing custom guardrails for DeepSeek-R1 using Amazon Bedrock enhances the safety and reliability of your AI applications by providing robust controls over user inputs and model outputs. This process ensures that your generative AI deployments adhere to specific safety criteria and regulatory requirements, making them more trustworthy and secure.
Цитаты:
[1] https://www.youtube.com/watch?v=DV42VLP-RMG
[2] https://repost.aws/questions/qum-c06qe1r6ev6bnsdbetga/bedrock-guardrails-deepseek
[3] https://www.trendmicro.com/en_gb/research/25/c/exploiting-deepseek-r1.html
[4] https://aws.amazon.com/blogs/machine-learning/protect-your-deepseek-model-deployments-with-amazon-bedrock-guardrails/
[5] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-lama-models-with-amazon-bedrock-custom-model-import/
[6] https://www.reddit.com/r/openai/comments/1i5pr7q/it_just_happened_deepseekr1_is_here/
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-ably-manged-serverless-model-in-amazon-bedrock/
[8] https://www.youtube.com/watch?v=W3FBSYFEVZ4
[9] https://www.solo.io/blog/navigating-ideepseek-r1-security-concerns-and-guardrails