Налаштування робочого процесу розширеного покоління (RAG) з DeepSeek на AWS передбачає кілька кроків, в першу чергу використовуючи службу Amazon Sagemaker та Amazon OpenSearch. Ось детальний посібник щодо того, як це реалізувати:
Крок 1: Розгорніть DeepSeek-R1 на Amazon SageMaker
1. Створіть домен SageMaker: Перейдіть до Amazon SageMaker та створіть новий домен. Виберіть параметр "Одинокий користувач швидкого налаштування" та чекайте завершення налаштування.
2. Розгорніть модель DeepSeek-R1: Після того, як ваш домен буде готовий, відкрити студію Sagemaker та розгорніть модель DeepSeek-R1. Цей крок передбачає налаштування кінцевої точки для моделі.
Крок 2: Налаштування служби Amazon OpenSearch
1. Створіть домен OpenSearch: перейдіть на консоль AWS та створіть новий домен OpenSearch. Це послужить вашою векторною базою даних для зберігання та отримання вбудовувань.
2. Налаштуйте ролі IAM: Створіть ролі IAM для управління дозволами між OpenSearch та SageMaker. Це включає ролі для виклику моделі Sagemaker та для вашого користувача для створення роз'ємів.
Крок 3: Налаштуйте ролі та дозволи IAM
1. Створіть роль IAM для доступу до Sagemaker: Ця роль дозволяє OpenSearch викликати модель DeepSeek на Sagemaker. Додайте необхідні політики, щоб увімкнути виклик моделі.
2. Налаштуйте роль IAM у OpenSearch: Переконайтесь, що OpenSearch має необхідні дозволи для взаємодії з моделями SageMaker.
Крок 4: Створіть роз'єм OpenSearch
1. Використовуйте сценарії для створення роз'єму: Використовуйте надані сценарії Python для створення роз'єму OpenSearch для SageMaker. Цей роз'єм дозволяє OpenSearch викликати модель DeepSeek для генерації тексту.
2. Зареєструйте модель: Використовуйте API OpenSearch для реєстрації моделі DeepSeek. Це передбачає визначення імені моделі, типу функції та ідентифікатора роз'єму.
Крок 5: Впровадження робочого процесу RAG
1. Використовуйте векторні вкладення для пошуку: Налаштуйте OpenSearch для використання векторних вкладень для семантичного пошуку. Це дозволяє отримати більш точне пошук відповідних документів.
2. Інтегруйте з DeepSeek для генерації тексту: Після отримання відповідних документів використовуйте модель DeepSeek для створення текстових відповідей на основі отриманої інформації.
Крок 6: Тест та розгортання
1. Перевірте систему RAG: Використовуйте зразок запиту для перевірки здатності системи отримати відповідні документи та генерувати узгоджені текстові відповіді.
2. Розгорніть програму: Після тестування розгорніть програму RAG для виробничого використання, забезпечуючи належним чином захищені та налаштовані всі компоненти.
Ця установка використовує можливості міркувань DeepSeek та функції векторної бази даних OpenSearch, щоб створити надійний робочий процес RAG на AWS. Для отримання більш детальних інструкцій та сценаріїв див. Документацію AWS та сховища Github, пов'язані з DeepSeek та OpenSearch [1] [2] [6].
Цитати:
[1] https://www.youtube.com/watch?v=k2bse_hwl78
[2] https://aws.amazon.com/blogs/big-data/use-deepseek-with-amazon-opensearch-service-vector-database-and-amazon-sagemaker/
[3] https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepeek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_JXEIXVUVNW
[6] https://opensearch.org/docs/latest/vector-search/tutories/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-bedrock/
[8] https://aws-news.com/article/0194e24b-49c8-f3c1-2748-3b9c36468666