A DeepSeek-R1 teljesítményének optimalizálása az AWS-en több hálózati beállítást és konfigurációt foglal magában. Itt található egy részletes áttekintés arról, hogyan javíthatja teljesítményét:
1. EC2 példánykonfiguráció **
- Példánytípus: A megfelelő GPU teljesítményű példánytípus kiválasztása, például a `g4dn.xlarge ', elengedhetetlen a mély-R1 modellek hatékony futtatásához. Ez a példánytípus támogatja az NVIDIA rácsos illesztőprogramokat, amelyek nélkülözhetetlenek a GPU gyorsulásához [1].- Hálózati beállítások: Használja az alapértelmezett VPC -beállításokat, és válassza ki a rendelkezésre állási zónát, ahol az EC2 példánya van telepítve. Ez biztosítja, hogy a példánya jól összekapcsolt és hozzáférhető legyen a hálózaton belül [1].
2. Biztonsági csoportok **
- Konfiguráljon egy új biztonsági csoportot a konkrét bejövő szabályokkal:- HTTP forgalom: Engedélyezze a HTTP forgalmát a megbízható IP -tartományból (például: "My IP") a modell webes hozzáférésének lehetővé tétele érdekében.
- TCP forgalom a 3000 -es porton: Engedélyezze a TCP -forgalmat a VPC CIDR tartományból, hogy megkönnyítse az alkalmazás -terheléselosztóval való kommunikációt.
- HTTPS forgalom: Engedélyezze a HTTPS -forgalmat a VPC CIDR tartományból a biztonságos kommunikációhoz [1].
3. Alkalmazás -terhelés kiegyensúlyozó (alb) **
-Scheme: Állítson be egy internetes Alb-t, hogy a DeepSeek-R1 modellt a külső forgalomhoz tegye.- Betöltési kiegyenlítő IP -cím típusa: Az egyszerűség és a kompatibilitás érdekében használja az IPv4 -et.
- Hálózati beállítások: Válassza ki az alapértelmezett VPC beállításokat és ugyanazt a rendelkezésre állási zónát, mint az EC2 példány.
- Biztonsági csoportok: Használja az EC2 konfiguráció során létrehozott biztonsági csoportot a következetes hozzáférési vezérlők biztosítása érdekében [1].
4. Célcsoport konfigurációja **
- Céltípus: Válassza ki a "példányokat" válassza céltípusként.- Port: Használja a 3000 portot a forgalom továbbításához az EC2 példányhoz, amely a DeepSeek-R1 modellt futtatja.
- Célcsoport neve: Nevezze meg a célcsoportot (például "DeepSeek-TG") az egyszerű azonosítás érdekében [1].
5. Amazon Sagemaker a továbbfejlesztett teljesítményért **
-A modell telepítése: Fontolja meg a DeepSeek-R1 modellek telepítését az Amazon Sagemaker használatával, amely olyan funkciókat kínál, mint az automatikus méretezés és az elasztikus terheléselosztás. Ez javíthatja a reakcióképességet és a méretezhetőséget [3] [4].- Privát S3 vödör: Tárolja a modell súlyait egy privát S3 vödörben, hogy csökkentse a késés és a biztonságot azáltal, hogy a modell adatait az AWS -fiókjában tartja [3].
6. Optimalizálás legjobb gyakorlatok **
- Gyors optimalizálás: Használjon olyan technikákat, mint például az Amazon alapkőzetének gyors optimalizálása, hogy javítsa a DeepSeek-R1 modellek érvelési képességeit [7].- Régióválasztás: Válasszon egy AWS régiót a felhasználókhoz, hogy minimalizálja a késleltetést és optimalizálja a költségeket [6].
Ezen hálózati beállítások és konfigurációk megvalósításával optimalizálhatja a DeepSeek-R1 teljesítményét az AWS-en, biztosítva a hatékony, méretezhető és biztonságos modell telepítését.
Idézetek:
[1] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://northflank.com/blog/self-host-deepseek-r1-on-aws-gcp-azure-and-k8s-in-three-easy-steeps
[3] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[5] https://repost.aws/questions/quuzc1_jmmesbmpauozqh5jca/guidance-onaws-deepseek-ai-pricing-and-deployment-options
[6] https://crossasyst.com/blog/deepseek-r1-on-aws-bedrock/
[7] https://aws.amazon.com/blogs/machine-learning/optimize-reason-models-like-deepseek-with-prompt-optimization-on-amazon-bedrock/
[8] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/