Nastavení pracovního postupu pro vyhledávání Agmented Generation (RAG) s DeepSeekem na AWS zahrnuje několik kroků, především pomocí Amazon SageMaker a Amazon OpenSearch Service. Zde je podrobný průvodce, jak to implementovat:
Krok 1: Deploy DeepSeek-R1 na Amazon SageMaker
1. Vytvořte doménu SageMaker: Přejděte na Amazon SageMaker a vytvořte novou doménu. Vyberte možnost „Single User Quick Setup“ a počkejte na dokončení nastavení.
2. nasazení modelu DeepSeek-R1: Jakmile je vaše doména připravena, otevřete SageMaker Studio a nasadí model DeepSeek-R1. Tento krok zahrnuje nastavení koncového bodu pro model.
Krok 2: Nastavení služby Amazon OpenSearch
1. Vytvořte doménu OpenSearch: Přejděte do konzoly AWS a vytvořte novou doménu OpenSearch. To bude sloužit jako vaše vektorová databáze pro ukládání a načítání vložení.
2. Nakonfigurovat role IAM: Vytvořte role IAM pro správu oprávnění mezi OpenSearch a SageMaker. To zahrnuje role pro vyvolání modelu SageMaker a pro váš uživatel vytvářet konektory.
Krok 3: Konfigurace rolí a oprávnění IAM
1. Vytvořte roli iAM pro přístup SageMaker: Tato role umožňuje OpenSearch vyvolat model DeepSeek na SageMaker. Připojte nezbytné zásady, abyste povolili vyvolání modelu.
2. Konfigurace role IAM v OpenSearch: Ujistěte se, že OpenSearch má nezbytná oprávnění k interakci s modely SAGEMaker.
Krok 4: Vytvořte konektor OpenSearch
1. Použijte skripty k vytvoření konektoru: Využijte poskytnuté skripty Python k vytvoření konektoru OpenSearch pro SageMaker. Tento konektor umožňuje OpenSearch volat model DeepSeek pro generování textu.
2. Zaregistrujte model: Pomocí API OpenSearch zaregistrujte model DeepSeek. To zahrnuje zadání názvu modelu, typu funkce a ID konektoru.
Krok 5: Implementace pracovního postupu RAG
1. Použijte vektorové vložení pro vyhledávání: Nakonfigurujte OpenSearch a používejte vektorové vložení pro sémantické vyhledávání. To umožňuje přesnější vyhledávání příslušných dokumentů.
2. Integrace s DeepSeek pro generování textu: Jakmile jsou získány relevantní dokumenty, použijte model DeepSeek k generování textových odpovědí na základě získaných informací.
Krok 6: Zkouška a nasazení
1. Testujte systém RAG: Pomocí dotazu vzorku vyzkoušejte schopnost systému načíst relevantní dokumenty a generovat koherentní textové odpovědi.
2. Nasadit aplikaci: Po testování nasaďte aplikaci RAG pro použití výroby a zajistěte, aby byly všechny komponenty správně zabezpečeny a nakonfigurovány.
Toto nastavení využívá schopnosti DeepSeekovy uvažování a funkce databáze vektoru společnosti OpenSearch, aby vytvořila robustní pracovní postup RAG na AWS. Podrobnější pokyny a skripty naleznete v dokumentaci AWS a repozitářech GitHub souvisejících s Deepseek a OpenSearch [1] [2] [6].
Citace:
[1] https://www.youtube.com/watch?v=K2BSE_HWL78
[2] https://aws.amazon.com/blogs/big-data/use-deepseek-with-amazon-opensearch-service-vector-tabase-and-amazon-sagemaker/
[3] https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepseek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_jxeixVuvnw
[6] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-bedrock/
[8] https://aws-news.com/article/0194e24B-49C8-F3C1-2748-3B9C36468666