La creazione di un flusso di lavoro di Generation Aumentated Generation (RAG) di recupero con DeepSeek su AWS comporta diversi passaggi, principalmente utilizzando Amazon Sagemaker e Amazon OpenSearch Service. Ecco una guida dettagliata su come implementare questo:
Passaggio 1: distribuire DeepSeek-R1 su Amazon Sagemaker
1. Crea un dominio SageMaker: naviga su Amazon Sagemaker e crea un nuovo dominio. Scegli l'opzione "Impostazione rapida" singolo e attendi il completamento dell'installazione.
2. Distribuisci il modello DeepSeek-R1: una volta pronto il tuo dominio, Apri SageMaker Studio e distribuisci il modello DeepSeek-R1. Questo passaggio prevede la creazione di un endpoint per il modello.
Passaggio 2: imposta il servizio Amazon OpenSearch
1. Crea un dominio OpenSearch: vai alla console AWS e crea un nuovo dominio OpenSearch. Questo fungerà da database vettoriale per la memorizzazione e il recupero di incorporamenti.
2. Configura ruoli IAM: creare ruoli IAM per gestire le autorizzazioni tra OpenSearch e SageMaker. Ciò include ruoli per invocare il modello SageMaker e per l'utente per creare connettori.
Passaggio 3: configurare ruoli e autorizzazioni IAM
1. Crea il ruolo IAM per l'accesso a SageMaker: questo ruolo consente a OpenSearch di invocare il modello DeepSeek su SageMaker. Allegare le politiche necessarie per abilitare l'invocazione del modello.
2. Configurare il ruolo IAM in OpenSearch: assicurarsi che OpenSearch abbia le autorizzazioni necessarie per interagire con i modelli SageMaker.
Passaggio 4: Crea connettore OpenSearch
1. Usa gli script per creare connettore: utilizzare script Python forniti per creare un connettore OpenSearch a SageMaker. Questo connettore consente a OpenSearch di chiamare il modello DeepSeek per la generazione di testo.
2. Registra il modello: utilizzare l'API OpenSearch per registrare il modello DeepSeek. Ciò comporta la specifica del nome del modello, del tipo di funzione e dell'ID connettore.
Passaggio 5: implementa il flusso di lavoro di Rag
1. Utilizzare l'incorporamento vettoriale per la ricerca: configurare OpenSearch per utilizzare gli incorporamenti vettoriali per la ricerca semantica. Ciò consente un recupero più accurato di documenti pertinenti.
2. Integrare con DeepSeek per la generazione di testo: una volta recuperati i documenti pertinenti, utilizzare il modello DeepSeek per generare risposte di testo in base alle informazioni recuperate.
PASSAGGIO 6: Test e distribuzione
1. Test del sistema RAG: utilizzare una query di esempio per testare la capacità del sistema di recuperare i documenti pertinenti e generare risposte di testo coerenti.
2. Distribuire l'applicazione: una volta testata, distribuire l'applicazione RAG per l'uso della produzione, garantendo che tutti i componenti siano correttamente protetti e configurati.
Questa configurazione sfrutta le funzionalità di ragionamento di DeepSeek e le funzionalità del database vettoriale di OpenSearch per creare un flusso di lavoro RAG robusto su AWS. Per istruzioni e script più dettagliati, consultare la documentazione AWS e i repository di GitHub relativi a DeepSeek e OpenSearch [1] [2] [6].
Citazioni:
[1] https://www.youtube.com/watch?v=k2bse_hwl78
[2] https://aws.amazon.com/blogs/big-data/use-deepseek-with-amazon-opensearch-service-vector-database-and-amazon-sagemaker/
[3] https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepseek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_jxeixvuvnw
[6] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-re-bedodrock/
[8] https://aws-news.com/article/0194e24b-49c8-f3c1-2748-3b9c36468666