Amikor a DeepSeek-R1-et az AWS-en telepítik, a tárolási követelményeket nem részletezik kifejezetten az AWS tárolási szolgáltatások szempontjából. Maga a modell azonban jelentős tárhelyet igényel a súlyához. Például a teljes DeepSeek-R1 modell eredetileg körülbelül 720 GB lábnyomot mutat, bár az optimalizálás jelentősen csökkentheti ezt a méretet, például 131 GB-ra kvantálási és tömörítési technikák révén [3].
Az AWS telepítésekhez általában a következő szempontokat kell figyelembe vennie:
1. Modelltárolás: A modell súlyát az AWS példányaival hozzáférhető helyen kell tárolni. Ez lehet egy S3 vödörben, amelyet általában nagy adatkészletek és modellfájlok tárolására használnak. A modell S3-ban történő tárolásának költsége az alkalmazott régiótól és a tárolási osztálytól függ (például standard, standard-Ia, egy zóna-Ia stb.).
2. Példány tárolás: A modell EC2 példányain történő futtatásakor elegendő tárolásra van szükség az operációs rendszerhez, a szükséges kiegészítő szoftverekhez és potenciálisan ideiglenes tárolásra a modellkimenetekhez vagy a közbenső eredményekhez. Ezt a tárolót általában a példány gyökérmennyisége vagy további EBS mennyiség biztosítja.
3. Adattárolás a következtetéshez: Ha a modellt a következtetési feladatokhoz használja, akkor szükség lehet további tárolásra a bemeneti adatokhoz és a kimeneti eredményekhez. Ezt S3 vagy más AWS tárolási szolgáltatások, például az EBS vagy a példánybolt kötetein keresztül is lehet kezelni.
A speciális AWS -szolgáltatások szempontjából az Amazon S3 -at gyakran használják a modell súlyának tárolására annak méretezhetősége és megbízhatósága miatt. A modell futtatásához az Amazon EC2 példányokat általában használják, a példánytípustól és a konfigurációtól függően tárolási igényekkel. A nagyszabású telepítésekhez az Amazon Sagemaker is felhasználható, amely kezelt környezetet biztosít a gépi tanulási feladatokhoz, beleértve a modell tárolását és következtetéseit.
A költségmeghatározásokhoz az AWS tárolási költségei az alkalmazott szolgáltatásoktól függnek. Például az S3 tárolási költségei a tárolási osztálytól és a régiótól függően változnak, míg az EC2 példányköltségei tartalmazzák mind a számítási, mind a tárolási alkatrészeket. Ezenkívül a szolgáltatások, mint például a Sagemaker használata, egyszerűsítheti ezen költségek kezelését azáltal, hogy kezelt környezetet biztosít az ML feladatokhoz.
Idézetek:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a--Large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-manderyaged-generally-avalable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distled-models-with-hugging-face-tgi-on-amazon-sagemaker-Ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8glkoga/pricing-model-of-deepseek-r1-distlad-lama-models-with-amazon-bedrock-custom-model-mport
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-avagable-as-a---ganged-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-vagon-cloud-desktops