Nastavitev delovnega toka za pridobivanje razširjene generacije (RAG) z Deepseekom na AWS vključuje več korakov, predvsem z uporabo Amazon SageMaker in Amazon OpenSearch Service. Tu je podroben vodnik, kako to izvesti:
Korak 1: Na Amazon SageMaker namestite Deepseek-R1
1. Ustvari domeno sagemakerja: pomaknite se do Amazon SageMaker in ustvarite novo domeno. Izberite možnost "Enly uporabnik Quick Setup" in počakajte, da se nastavitev konča.
2. Uvajajte model Deepseek-R1: Ko je vaša domena pripravljena, odprite SageMaker Studio in namestite model DeepSeek-R1. Ta korak vključuje nastavitev končne točke za model.
2. korak: Nastavite storitev Amazon OpenSearch
1. Ustvari domeno OpenSearch: Pojdite na konzolo AWS in ustvarite novo domeno OpenSearch. To bo služilo kot vaša vektorska baza podatkov za shranjevanje in pridobivanje vdelave.
2. Konfigurirajte vloge IAM: Ustvarite vloge IAM za upravljanje dovoljenj med OpenSearch in SageMakerjem. To vključuje vloge za priklic modela SageMakerja in za ustvarjanje priključkov.
Korak 3: Konfigurirajte vloge in dovoljenja IAM
1. Ustvari vlogo IAM za dostop do SageMakerja: ta vloga omogoča OpenSearch, da prikliče model Deepseek na SageMakerju. Priložite potrebne politike, da omogočite priklic modela.
2. Konfigurirajte vlogo IAM v OpenSearch: Prepričajte se, da ima OpenSearch potrebna dovoljenja za interakcijo z modeli SageMaker.
KORAK 4: Ustvari priključek OpenSearch
1. Uporabite skripte za ustvarjanje priključka: Uporabite predložene skripte Python, da ustvarite priključek OpenSearch za SageMaker. Ta priključek omogoča OpenSearch, da pokliče model Deepseek za ustvarjanje besedila.
2. Registrirajte model: za registracijo modela Deepseek uporabite API OpenSearch. To vključuje določitev imena modela, vrste funkcije in ID priključka.
5. korak: Izvedite potek dela Rag
1. Uporabite vektorske vdelave za iskanje: Konfiguriraj OpenSearch za uporabo vektorskih vdelav za semantično iskanje. To omogoča natančnejše iskanje ustreznih dokumentov.
2. Vključite se z DeepSeekom za generiranje besedila: Ko se pridobijo ustrezni dokumenti, uporabite model DeepSeek za ustvarjanje besedilnih odzivov na podlagi pridobljenih informacij.
KORAK 6: Preizkusite in namestite
1. Preizkusite sistem RAG: Uporabite vzorčno poizvedbo, da preizkusite sposobnost sistema za pridobivanje ustreznih dokumentov in ustvarjanje skladnih besedilnih odzivov.
2. Namestite aplikacijo: Ko testirate, namestite aplikacijo Rag za proizvodnjo, tako da zagotovite, da so vse komponente pravilno zavarovane in konfigurirane.
Ta nastavitev izkorišča zmogljivosti za sklepanje Deepseek in odpirajo funkcije vektorja baze podatkov OpenSearch, da ustvarijo robusten potek RAG na AWS. Za podrobnejša navodila in skripte si oglejte dokumentacijo AWS in skladišča GitHub, povezane z Deepseekom in OpenSearch [1] [2] [6].
Navedbe:
[1] https://www.youtube.com/watch?v=K2BSE_HWL78
[2] https://aws.amazon.com/blogs/big-tata/use-meepseek-with-amazon-opensearch-servis-vector-database-and-amazon-sagemaker/
[3] https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepseek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_jxeixvuvnw
[6] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-bedrock/
[8] https://aws-news.com/article/0194E24B-49C8-F3C1-2748-3B9C36468666