Att ställa in ett hämtningsförstärkt generation (RAG) arbetsflöde med Deepseek på AWS innebär flera steg, främst med Amazon Sagemaker och Amazon OpenSearch Service. Här är en detaljerad guide för hur man implementerar detta:
Steg 1: Distribuera Deepseek-R1 på Amazon Sagemaker
1. Skapa en Sagemaker -domän: Navigera till Amazon Sagemaker och skapa en ny domän. Välj alternativet "Single User Quick Setup" och vänta på att installationen ska slutföras.
2. Distribuera Deepseek-R1-modellen: När din domän är klar, öppna Sagemaker Studio och distribuera Deepseek-R1-modellen. Detta steg handlar om att ställa in en slutpunkt för modellen.
Steg 2: Ställ in Amazon OpenSearch Service
1. Skapa en OpenSearch -domän: Gå till AWS -konsolen och skapa en ny OpenSearch -domän. Detta kommer att fungera som din vektordatabas för att lagra och hämta inbäddningar.
2. Konfigurera IAM -roller: Skapa IAM -roller för att hantera behörigheter mellan OpenSearch och Sagemaker. Detta inkluderar roller för att åberopa Sagemaker -modellen och för att din användare ska skapa kontakter.
Steg 3: Konfigurera IAM -roller och behörigheter
1. Skapa IAM -roll för Sagemaker Access: Denna roll gör det möjligt för OpenSearch att åberopa Deepseek -modellen på Sagemaker. Bifoga nödvändig policy för att möjliggöra modellinbjudan.
2. Konfigurera IAM -roll i OpenSearch: Se till att OpenSearch har de nödvändiga behörigheterna för att interagera med Sagemaker -modeller.
Steg 4: Skapa OpenSearch -kontakt
1. Använd skript för att skapa kontakt: Använd tillhandahållna Python -skript för att skapa en OpenSearch -kontakt till Sagemaker. Denna anslutning gör det möjligt för OpenSearch att ringa Deepseek -modellen för textgenerering.
2. Registrera modellen: Använd OpenSearch API för att registrera Deepseek -modellen. Detta innebär att specificera modellnamn, funktionstyp och anslutnings -ID.
Steg 5: Implementera RAG -arbetsflödet
1. Använd vektorinbäddningar för sökning: Konfigurera OpenSearch för att använda Vector Embeddings för semantisk sökning. Detta möjliggör mer exakt hämtning av relevanta dokument.
2. Integrera med Deepseek för textgenerering: När relevanta dokument har hämtats, använd Deepseek -modellen för att generera textrespons baserat på den hämtade informationen.
Steg 6: Testa och distribuera
1. Testa RAG -systemet: Använd en provfråga för att testa systemets förmåga att hämta relevanta dokument och generera sammanhängande textrespons.
2. Distribuera applikationen: När du har testat, distribuera RAG -applikationen för produktionsanvändning, och se till att alla komponenter är korrekt säkrade och konfigurerade.
Denna installation utnyttjar Deepseeks resonemang och OpenSearchs Vector -databasfunktioner för att skapa ett robust trasarbetsflöde på AWS. För mer detaljerade instruktioner och skript, se AWS -dokumentation och Github -förvar relaterade till Deepseek och OpenSearch [1] [2] [6].
Citeringar:
[1] https://www.youtube.com/watch?v=k2bse_hwl78
]
]
[4] https://github.com/spidy20/deepseek-rapp
[5] https://www.youtube.com/watch?v=_jxeixvuvnw
[6] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-bedrock/
[8] https://aws-news.com/article/0194e24b-49c8-f3c1-2748-3b9c36468666