Užtikrinimas „Deepseeek-R1“ mastelio keitimas AWS apima keletą strategijų, kurios pasitelkia tvirtą AWS infrastruktūrą ir paslaugas. Čia yra išsamus vadovas, kaip pasiekti mastelį:
1. Naudokite „Amazon Bedrock“ diegimui be serverio **
„Amazon Bedrock“ siūlo visiškai valdomą ir be serverio aplinką, skirtą diegti „Deepseeek-R1“ modelius. Ši paslauga automatiškai tvarko mastelį, pašalindama rankinės infrastruktūros valdymo poreikį. Savo „Deepseeek-R1“ modelius galite importuoti į „Amazon S3“ arba „Amazon Sagemaker“ modelio saugyklą. Šis metodas suteikia įmonės kokybės saugumą ir mastelį nereikalaujant išsamios techninės sąrankos ar priežiūros [4] [11].2. Svertas „Amazon Sagemaker“ pritaikymui ir mokymui **
Norėdami labiau valdyti „Deepseek-R1“ modelių diegimo ir pritaikymo kontrolę, „Amazon Sagemaker“ yra idealus. „Sagemaker“ leidžia mokyti, tiksliai suderinti ir diegti modelius, turinčius prieigą prie pagrindinės infrastruktūros. Norėdami optimizuoti didelio masto išvadų užduotis, galite naudoti didelius „Sagemaker“ modelio išvadų konteinerius [9].3. Naudokite „Amazon EC2“ pasirinktinei infrastruktūrai **
Jei jums labiau patinka tradicinis požiūris su infrastruktūros kontrole, „Amazon EC2“ yra geras pasirinkimas. Galite diegti „Deepseek-R1“ modelius EC2 egzemplioriuose, tokiuose kaip „G4DN.Xlarge“ arba „TRN1“ egzemplioriai, kurie yra optimizuoti GPU darbo krūviams. Šis metodas reikalauja patys nustatyti ir valdyti infrastruktūrą, tačiau suteikia lankstumo egzempliorių tipams ir konfigūracijoms [1] [7].4. Įdiekite automatinį mastelį su API šliuzu ir EKS **
Norėdami gauti labai keičiamą architektūrą, apsvarstykite galimybę naudoti API šliuzą kaip API skambučių įėjimo tašką. Tai padeda valdyti srautą ir teikia tokias funkcijas kaip greičio ribojimas ir saugumas. Sujunkite tai su „Amazon Elastic Kubernetes“ paslauga (EK), kad dinamiškai padidintumėte savo konteinerių programas pagal paklausą. EK leidžia efektyviai naudoti išteklius ir lengviau valdyti mašinų mokymosi modelius [10].5. Stebėkite ir optimizuokite našumą **
Naudokite „Amazon CloudWatch“, kad stebėtumėte našumo metriką ir optimizuotumėte išlaidas. Norėdami gauti didelio masto išvadą, naudokite didesnius partijas, kad optimizuotumėte kainą ir našumą. Apsvarstykite galimybę naudotis „Batch Transform“ neprisijungus, didelės apimties išvadoms, kad sumažintumėte išlaidas [9].6. Užtikrinkite saugumą ir atitiktį **
Konfigūruokite išplėstinius saugos parametrus, tokius kaip „Virtual Private Cloud“ (VPC) tinklas, paslaugų vaidmens leidimai ir šifravimo parametrai. „Amazon Bedrock“ ir „Sagemaker“ teikia įmonės lygio saugumo funkcijas, kad išlaikytų duomenų privatumą ir reguliavimo laikymąsi [9] [11].7. Naudokite ekonomiškai efektyvius kainų modelius **
AWS siūlo ekonomiškai efektyvius kainų modelius, pagrįstus naudojimu. Dėl viešai prieinamų modelių, tokių kaip „Deepseek-R1“, esate apmokestinamas tik už naudojamą infrastruktūrą. Naudodami „Amazon Bedrock“ pasirinktinio modelio importą, esate apmokestinti pagal aktyvius modelio kopijas, apmokestinamas 5 minučių „Windows“ [7].Įdiegę šias strategijas, galite įsitikinti, kad jūsų „Deepseek-R1“ diegimas AWS yra keičiamas, saugus ir ekonomiškas.
Citatos:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/depalling-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/32
[3] https://crossasyst.com/blog/deepseek-r1-on-ws-bedrock/
[4] https://aws.amazon.com/blogs/machine-learning/depall-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-mport/
[5] https://www.youtube.com/watch?v=1AQ_JU70QHQ
[6] https://www.byteplus.com/en/topic/409076
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-avable-on-aws/
]
[9] https://aws.amazon.com/blogs/machine-learning/depall-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[10] https://www.reddit.com/r/aws/comments/1i8v9w5/scalable_deepseek_r1/
[11] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ulpy-samed-generally-avleable
[12] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-on-on-amazon-sagemaker-ai/