在AWS上部署DeepSeek-R1时,存储要求并未在特定的AWS存储服务方面明确详细介绍。但是,该模型本身需要重大的存储空间。例如,完整的DeepSeek-R1模型最初的足迹约为720GB,尽管优化可以大大降低此尺寸,例如通过量化和压缩技术降至131GB [3]。
对于AWS部署,您通常需要考虑以下方面:
1。型号存储:模型权重需要存储在AWS实例可访问的位置中。这可能是在S3存储桶中,该存储桶通常用于存储大型数据集和模型文件。将模型存储在S3中的成本取决于所使用的区域和存储类(例如,标准,标准IA,一个区域-IA等)。
2。实例存储:在EC2实例上运行模型时,您需要足够的存储操作系统,所需的任何其他软件以及模型输出或中间结果的潜在临时存储。该存储通常由实例的根卷或其他EBS量提供。
3。推断数据存储:如果您使用模型进行推理任务,则可能需要其他存储输入数据和输出结果。这也可以通过S3或其他AWS存储服务(例如EBS或实例存储量)进行管理。
在特定的AWS服务方面,Amazon S3由于其可扩展性和可靠性,通常用于存储模型权重。对于运行模型,通常使用Amazon EC2实例,并取决于实例类型和配置。对于大规模部署,也可以利用Amazon Sagemaker,为机器学习任务(包括模型存储和推理)提供了托管环境。
对于成本考虑,AWS中的存储成本取决于使用的特定服务。例如,S3存储成本根据存储类和区域而异,而EC2实例成本包括计算和存储组件。此外,使用SageMaker之类的服务可以通过为ML任务提供托管环境来简化这些成本的管理。
引用:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_run_deepseekr1_locally_on_your_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-models-on-amazon-sagemaker-sagemaker-usis-using-a-rarge-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1--man-man-maned-generally-abailable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-hosting-deepseek-r1-dist------------------
[7] https://repost.aws/questions/QU-hcixrtFSaSoKH8GL-KogA/pricing-model-of-deepseek-r1-distilled-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-an-aws?lang=en
[9] https://community.aws/content/2seuhqlpyfswckzmx585jcksgksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-avable-as-a-lous-man- maran-server-server-model-model-in-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-deepseek-r1-on-on-vagon-cloud-desktops