A DeepSeek-R1 teljesítményének optimalizálása az AWS-en a GPU példányok használatával több kulcsfontosságú stratégiát foglal magában:
1. A megfelelő GPU -példány kiválasztása **
Az optimális teljesítmény érdekében a DeepSeek-R1-rel elengedhetetlen egy olyan GPU-alapú példánytípus kiválasztása, amely elegendő memóriát és számítási teljesítményt biztosít. Az ML.P5E.48XLARGE példány nagyon ajánlott, mivel 8 NVIDIA H200 GPU-val érkezik, 1128 GB GPU memóriát kínálva, amely elengedhetetlen a nagy modellek, például a DeepSeek-R1 kezeléséhez [9]. Más esetek, mint például az ML.G6E.12XLARGE és az ML.G6E.48XLARGE, kiváló teljesítményt mutattak a különféle DeepSeek-R1 desztillált modellekhez [1].2. A GPUS -en átfedő modell **
Ha több GPU -val rendelkező példányokat használ, akkor a modellt az összes rendelkezésre álló GPU -nál megsemmisítve jelentősen javíthatja a teljesítményt. Ez lehetővé teszi a modell párhuzamosan történő eloszlását és feldolgozását, javítva a teljesítményt és csökkenti a késési képességet [1].3. A modellkonfiguráció optimalizálása **
Az optimalizált paraméterekkel rendelkező nagy modell következtetési (LMI) tartály használata elősegítheti a jobb teljesítmény elérését. Például, ha a „max_model_len” megfelelő értékre állítja, biztosítja a hosszú bemeneti szekvenciák hatékony kezelését darabolás vagy előtag gyorsítótárazás nélkül [1].4. Egyidézés és tétel mérete **
A párhuzamosság növelése és a nagyobb kötegelt méret használata javíthatja az átviteli sebességet, különösen a valós idejű következtetési forgatókönyvekben. Fontos azonban, hogy kiegyensúlyozzuk a párhuzamosságot a rendelkezésre álló erőforrásokkal, hogy elkerüljék a példány túlterhelését [1].5. Szoftver optimalizálás **
A szoftver optimalizálásának felhasználása olyan keretekben, mint az NVIDIA NIM, tovább javíthatja a teljesítményt. Ezek az optimalizálások egyszerűsíthetik a telepítéseket, és biztosíthatják a nagy hatékonyságot az ügynöki AI rendszerekben [4].6. Megfigyelés és tesztelés **
Mindig végezzen alapos tesztelést az adott adatkészlet és forgalmi mintákkal, hogy azonosítsa az optimális konfigurációt a használati esethez. Ez magában foglalja a végpontok közötti késleltetés, az áteresztőképesség, az első token idő és az internetes késleltetés értékelését [1].7. Költséghatékonyság **
A teljesítményre összpontosítva, vegye figyelembe a költséghatékonyságot a megtakarítási tervek kiaknázásával vagy a nem valós időbeli feladatok esetén. Ez elősegítheti a teljesítményigények kiegyensúlyozását a költségvetési korlátozásokkal [3].Ezen stratégiák végrehajtásával hatékonyan optimalizálhatja a DeepSeek-R1 teljesítményét az AWS-en a GPU példányok segítségével.
Idézetek:
[1] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[2] https://aws.amazon.com/blogs/aws/deepseek-r1-models-now-available-on-aws/
[3] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-lama-70b-for-fathin-in-ws-graviton4?lang=en?
[4] https://blogs.nvidia.com/blog/deepseek-r1-nim-microservice/
[5] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[6] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops
[7] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[8] https://www.reddit.com/r/aws/comments/1i8v9w5/calable_deepseek_r1/
[9] https://aws.amazon.com/blogs/machine-learning/deepseek-r1-model-now-aVAval-in-amazon-bedrock-marketplace-and-amazon-sagemaker-jumpstart/
[10] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q