Menyiapkan alur kerja pengambilan augmented generasi (RAG) dengan Deepseek di AWS melibatkan beberapa langkah, terutama menggunakan Amazon Sagemaker dan Amazon OpenSearch Service. Berikut panduan terperinci tentang cara mengimplementasikan ini:
Langkah 1: Menyebarkan Deepseek-R1 di Amazon Sagemaker
1. Buat domain Sagemaker: Navigasikan ke Amazon Sagemaker dan buat domain baru. Pilih opsi "Single User Quick Setup" dan tunggu pengaturan untuk menyelesaikan.
2. Menyebarkan model Deepseek-R1: Setelah domain Anda siap, Open Sagemaker Studio dan menggunakan model Deepseek-R1. Langkah ini melibatkan pengaturan titik akhir untuk model.
Langkah 2: Siapkan Layanan Penelitian Amazon
1. Buat domain OpenSearch: Pergi ke konsol AWS dan buat domain OpenSearch baru. Ini akan berfungsi sebagai basis data vektor Anda untuk menyimpan dan mengambil embeddings.
2. Konfigurasikan Peran IAM: Buat peran IAM untuk mengelola izin antara OpenSearch dan Sagemaker. Ini termasuk peran untuk memohon model Sagemaker dan bagi pengguna Anda untuk membuat konektor.
Langkah 3: Konfigurasikan Peran dan Izin IAM
1. Buat peran IAM untuk akses Sagemaker: Peran ini memungkinkan OpenSearch untuk memohon model Deepseek di Sagemaker. Lampirkan kebijakan yang diperlukan untuk mengaktifkan doa model.
2. Konfigurasikan Peran IAM dalam OpenSearch: Pastikan OpenSearch memiliki izin yang diperlukan untuk berinteraksi dengan model Sagemaker.
Langkah 4: Buat konektor OpenSearch
1. Gunakan skrip untuk membuat konektor: menggunakan skrip python yang disediakan untuk membuat konektor OpenSearch ke Sagemaker. Konektor ini memungkinkan OpenSearch untuk memanggil model Deepseek untuk pembuatan teks.
2. Daftarkan model: Gunakan API OpenSearch untuk mendaftarkan model Deepseek. Ini melibatkan menentukan nama model, jenis fungsi, dan ID konektor.
Langkah 5: Menerapkan alur kerja kain
1. Gunakan embeddings vektor untuk pencarian: Konfigurasi OpenSearch untuk menggunakan embeddings vektor untuk pencarian semantik. Ini memungkinkan pengambilan dokumen yang relevan yang lebih akurat.
2. Integrasi dengan Deepseek untuk pembuatan teks: Dokumen yang relevan diambil, gunakan model Deepseek untuk menghasilkan respons teks berdasarkan informasi yang diambil.
Langkah 6: Uji dan penyebaran
1. Uji sistem RAG: Gunakan kueri sampel untuk menguji kemampuan sistem untuk mengambil dokumen yang relevan dan menghasilkan respons teks yang koheren.
2. Menyebarkan aplikasi: Setelah diuji, sebarkan aplikasi RAG untuk penggunaan produksi, memastikan semua komponen diamankan dan dikonfigurasi dengan benar.
Pengaturan ini memanfaatkan kemampuan penalaran Deepseek dan fitur basis data vektor OpenSearch untuk membuat alur kerja kain yang kuat di AWS. Untuk instruksi dan skrip yang lebih terperinci, lihat dokumentasi AWS dan repositori GitHub yang terkait dengan Deepseek dan OpenSearch [1] [2] [6].
Kutipan:
[1] https://www.youtube.com/watch?v=K2BSE_HWL78
[2] https://aws.amazon.com/blogs/big-data/use-deepseek-with-amazon-opensearch-service-vector-database-and-amazon-sagemaker/
[3] https://github.com/opensearch-project/ml-commons/blob/main/docs/tutorials/aws/rag_with_deepseek_r1_model_on_bedrock.md
[4] https://github.com/spidy20/deepseek-rag-app
[5] https://www.youtube.com/watch?v=_JXEIXVUVNW
[6] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-sagemaker/
[7] https://opensearch.org/docs/latest/vector-search/tutorials/rag/rag-deepseek-r1-bedrock/
[8] https://aws-news.com/article/0194e24b-49c8-f3c1-2748-3b9c36468666