A DeepSeek-R1 méretezhetőségének biztosítása az AWS-en számos stratégiát foglal magában, amelyek kihasználják az AWS robusztus infrastruktúráját és szolgáltatásait. Itt található egy részletes útmutató a méretezhetőség eléréséhez:
1. Használja az Amazon alapkőzetet a szerver nélküli telepítéshez **
Az Amazon Bedrock teljesen kezelt és szerver nélküli környezetet kínál a DeepSeek-R1 modellek telepítéséhez. Ez a szolgáltatás automatikusan kezeli a méretezést, kiküszöbölve a kézi infrastruktúra -kezelés szükségességét. A DeepSeek-R1 modelleket importálhatja az alapkőzetbe az Amazon S3-ból vagy az Amazon Sagemaker AI modell-tárolóból. Ez a megközelítés biztosítja a vállalati szintű biztonságot és a méretezhetőséget anélkül, hogy kiterjedt műszaki beállítást vagy karbantartást igényelne [4] [11].2. Használja ki az Amazon Sagemaker testreszabást és edzést **
A DeepSeek-R1 modellek telepítésének és testreszabásának nagyobb ellenőrzése érdekében az Amazon Sagemaker ideális. A Sagemaker lehetővé teszi a modellek edzését, finomhangolását és telepítését az alapul szolgáló infrastruktúrához való hozzáféréssel. Használhatja a Sagemaker nagy modell következtetési tartályait a nagyszabású következtetési feladatok teljesítményének és költségeinek optimalizálására [9].3. Használja az Amazon EC2 -t az egyéni infrastruktúrához **
Ha inkább egy tradicionálisabb megközelítést részesít előnyben, az infrastruktúra ellenőrzésével, az Amazon EC2 jó lehetőség. A DeepSeek-R1 modelleket telepítheti az EC2 példányokon, mint például a `g4dn.xlarge` vagy a„ TRN1 ”példányok, amelyeket a GPU munkaterheléseire optimalizáltak. Ez a módszer megköveteli az infrastruktúra beállítását és kezelését, de rugalmasságot biztosít a példánytípusok és a konfigurációk szempontjából [1] [7].4. Végezze el az auto méretezést API átjáróval és EKS -vel **
A nagyon skálázható architektúrák esetén fontolja meg az API -átjáró használatát az API hívások belépési pontjaként. Ez elősegíti a forgalom kezelését, és olyan funkciókat biztosít, mint a kamatláb -korlátozás és a biztonság. Kombinálja ezt az Amazon Elastic Kubernetes Service -vel (EKS), hogy dinamikusan méretezze a konténerizált alkalmazásokat a kereslet alapján. Az EKS lehetővé teszi a hatékony erőforrás -felhasználást és a gépi tanulási modellek könnyebb kezelését [10].5. Figyelje és optimalizálja a teljesítményt **
Használja az Amazon CloudWatch -t a teljesítménymutatók megfigyeléséhez és a költségek optimalizálásához. A nagyszabású következtetéshez használjon nagyobb kötegelt méreteket a költségek és a teljesítmény optimalizálásához. Fontolja meg a kötegelt transzformáció használatát offline, nagy mennyiségű következtetéshez a költségek csökkentése érdekében [9].6. Biztosítsa a biztonságot és a megfelelést **
Konfigurálja a fejlett biztonsági beállításokat, például a virtuális privát felhő (VPC) hálózatépítést, a szolgáltatási szerep engedélyeit és a titkosítási beállításokat. Az Amazon alapkőzet és a Sagemaker vállalati szintű biztonsági funkciókat biztosít az adatvédelem és a szabályozási megfelelés fenntartása érdekében [9] [11].7. Használjon költséghatékony árazási modelleket **
Az AWS a használat alapján költséghatékony árazási modelleket kínál. A nyilvánosan elérhető modellekhez, mint például a DeepSeek-R1, csak az alkalmazott infrastruktúrát számítják fel. Az Amazon Bedrock Custom Model Importálásával az aktív modell példányok alapján számolnak fel, 5 perces ablakokban számlázva [7].Ezeknek a stratégiáknak a végrehajtásával biztosíthatja, hogy az AWS-en a mélySeek-R1 telepítése méretezhető, biztonságos és költséghatékony legyen.
Idézetek:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/32
[3] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distled-lama-models-with-amazon-bedrock-custom-model-import/
[5] https://www.youtube.com/watch?v=1AQ_JU70QHQ
[6] https://www.byteplus.com/en/topic/409076
[7] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[8] https://www.reddit.com/r/aws/comments/1ics9sf/how_to_deploy_deepseek_r1_on_eks/
[9] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[10] https://www.reddit.com/r/aws/comments/1i8v9w5/calable_deepseek_r1/
[11] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-mander-managed-generally-avalable
[12] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/