Zriadenie pracovného toku na získavanie agmentovanej generácie (RAG) s Deepseekom na AWS zahŕňa niekoľko krokov, predovšetkým pomocou služby Amazon Sagemaker a Amazon OpenSearch Service. Tu je podrobný sprievodca, ako to implementovať:
Krok 1: Nasadenie Deepseek-R1 na Amazon Sagemaker
1. Vytvorte doménu Sagemaker: Prejdite na Amazon Sagemaker a vytvorte novú doménu. Vyberte voľbu „Single User Quick Setup“ a počkajte na dokončenie nastavenia.
2. Nasaďte model DeepSeek-R1: Akonáhle je vaša doména pripravená, otvorte Sagemaker Studio a nasadte model Deepseek-R1. Tento krok zahŕňa nastavenie koncového bodu pre model.
Krok 2: Nastavte službu Amazon OpenSearch Service
1. Vytvorte doménu OpenSearch: Prejdite na konzolu AWS a vytvorte novú doménu OpenSearch. Toto bude slúžiť ako vaša vektorová databáza na ukladanie a načítanie vložení.
2. Konfigurujte role IAM: Vytvorte role IAM na správu povolení medzi OpenSearch a Sagemaker. Zahŕňa to úlohy na vyvolanie modelu Sagemaker a pre vášho používateľa, aby vytvoril konektory.
Krok 3: Nakonfigurujte úlohy a povolenia IAM
1. Vytvorte úlohu IAM pre Sagemaker Access: Táto úloha umožňuje spoločnosti OpenSearch vyvolať model Deepseek na Sagemaker. Pripojte potrebné politiky na povolenie vyvolania modelu.
2. Konfigurujte úlohu IAM v OpenSearch: Uistite sa, že OpenSearch má potrebné povolenia na interakciu s modelmi Sagemaker.
Krok 4: Create OpenSearch Connector
1. Použite skripty na vytvorenie konektora: Využite poskytnuté skripty Python na vytvorenie konektora OpenSearch pre Sagemaker. Tento konektor umožňuje spoločnosti OpenSearch zavolať model DeepSeek pre generovanie textu.
2. Zaregistrujte model: Na registráciu modelu DeepSeek použite rozhranie API OpenSearch. Zahŕňa to zadanie názvu modelu, typu funkcií a ID konektora.
Krok 5: Implementujte pracovný postup Rag Rag
1. Na vyhľadávanie použite vektorové vloženia: Konfigurujte OpenSearch na použitie vektorových vložení na sémantické vyhľadávanie. To umožňuje presnejšie získavanie relevantných dokumentov.
2. Integrujte s DeepSeek na generovanie textu: Po získaní príslušných dokumentov použite model DeepSeek na generovanie textových odpovedí na základe získaných informácií.
Krok 6: Test a nasadenie
1. Otestujte systém RAG: Na otestovanie schopnosti systému načítať príslušné dokumenty a generovanie koherentných textových odpovedí použite vzorový dotaz.
2. Nasaďte aplikáciu: Po testovaní nasadte aplikáciu RAD na výrobné použitie a zaistite, aby boli všetky komponenty správne zabezpečené a nakonfigurované.
Toto nastavenie využíva funkcie zdôvodnenia spoločnosti DeepSeek a funkcie vektorovej databázy OpenSearch, aby sa vytvoril robustný pracovný tok RAG na AWS. Podrobnejšie pokyny a skripty nájdete v dokumentácii AWS a úložiska GitHub týkajúcich sa Deepseek a OpenSearch [1] [2] [6].
Citácie:
[1] https://www.youtube.com/watch?v=K2BSE_HWL78
[2] https://aws.amazon.com/blogs/big-data/use-deepseek-with-amazon-opensensearch-service-ektor-database-and-amazon-sagemaker/
Https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepseek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_jxeixvuvnw
[6] https://opensearch.org/docs/latest/Vector-search/tutorials/rag/rag/ragdeepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/Vector-search/tutorials/rag/rag/ragdeepseek-r1-bedrock/
[8] https://aws-news.com/article/0194e24b-49c8-f3c1-2748-3b9c36468666