A DeepSeek-R1 teljesítményének megfigyelése és értékelése az AWS GPU példányokon több lépést és eszközt tartalmaz. Itt található egy részletes útmutató a hatékony elvégzéséhez:
A megfigyelő eszközök és mutatók
Amazon CloudWatch
Az Amazon CloudWatch kulcsfontosságú eszköz az AWS erőforrások, beleértve a GPU példányokat is, figyelemmel kíséri. Összegyűjti és feldolgozza a nyers adatokat olvasható, valós idejű mutatókba. A GPU példányok esetében figyelemmel kísérheti a mutatókat, mint például:- GPU felhasználása: A jelenleg használt elosztott GPU -k százaléka.
- Gpumemoryutilizáció: A teljes használatban lévő GPU -memória százaléka.
- Cpuutilizáció: A kiosztott EC2 számítási egységek százaléka.
- Memória beutalás: A minta időszakában használt memória százaléka.
A GPU hasznosítási mutatóinak engedélyezéséhez telepítenie kell a CloudWatch -ágenst a példányaira, és konfigurálnia kell azt az NVIDIA GPU metrikák gyűjtéséhez [2] [8].
nvidia metrikák
A CloudWatch metrikákon kívül a „Nvidia-SMI” parancsot is használhatja a GPU teljesítményének valós időben történő megfigyelésére. Ez a parancs részletes információkat nyújt a GPU felhasználásáról, a memória használatáról és a hőmérsékletről [5].Teljesítmény-értékelési mutatók a DeepSeek-R1-hez
A DeepSeek-R1 modellek teljesítményének értékelésekor összpontosítson a következő mutatókra:
-A végpontok közötti késleltetés: A kérés elküldése és a válasz fogadása közötti idő.
- Átadási sebesség (tokenek másodpercenként): A feldolgozott tokenek száma másodpercenként.
- Ideje az első tokennek: Az első token generálásának ideje a válaszban.
- Inter-Token késés: Az egyes tokenek generálása közötti idő a válaszban [1] [4].
A tesztelés forgatókönyvei
A DeepSeek-R1 teljesítményének hatékony értékelése érdekében fontolja meg a különféle forgatókönyvek tesztelését:- Bemeneti tokenhossz: Vizsgálja meg rövid (például 512 tokenek) és közepes (például 3072 tokenek) bemeneti hosszával, hogy felmérje, hogyan kezeli a modell a változó bemeneti méretet.
- Egyedülési szintek: Értékelje a teljesítményt különböző egyidejű párhuzamos szintek (például 1, 10) mellett a skálázhatóság felmérése érdekében.
- Hardverkonfigurációk: Használjon különféle GPU -példánytípusokat (például P4D, G5, G6), különböző számú GPU -val, hogy megtalálja a munkaterhelés optimális konfigurációját [1] [4].
A megfigyelés és az értékelés legjobb gyakorlatai
- Használja az Amazon Sagemaker-t: telepítse a DeepSeek-R1 modelleket a Sagemaker használatával a kezelt infrastruktúra és a teljesítményfigyelési képességek kiaknázására.- Egyéni tesztelés: Végezzen el egyéni tesztelést az Ön speciális adatkészleteivel, és használja az eseteket annak biztosítása érdekében, hogy az eredmények relevánsak legyenek az alkalmazás szempontjából.
- Folyamatos megfigyelés: Rendszeresen figyelje a teljesítménymutatókat a szűk keresztmetszetek azonosítása és az erőforrások felhasználásának optimalizálása érdekében [4] [7].
Ezeknek a lépéseknek a követésével és a megfelelő eszközök használatával hatékonyan figyelemmel kísérheti és értékelheti a DeepSeek-R1 teljesítményét az AWS GPU példányokon.
Idézetek:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
[3] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseekr1_model_on/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[5] https://www.cloudoptimo.com/blog/aws-g6-gpu-instances-performance-use-case-and-cost-optimization/
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-performance-evaluation-eport.ipynb.ipynb
[7] https://virtualizationreview.com/articles/2025/03/11/aws-first-cloud-giant-to-ofer-deepseek-r1-as--shen-Managed-serverless-model.aspx
[8] https://docs.aws.amazon.com/amazoncloudwatch/latest/monitoring/cloudwatch-agent-nvidia-gpu.html
[9] https://aws.amazon.com/about-aws/whats-new/2025/03/deepseek-r1-ately-manged-amazon-bedrock/