Bij het implementeren van Deepseek-R1 op AWS zijn de opslagvereisten niet expliciet gedetailleerd in termen van specifieke AWS-opslagservices. Het model zelf vereist echter aanzienlijke opslagruimte voor zijn gewichten. Het volledige DeepSeek-R1-model heeft bijvoorbeeld oorspronkelijk een voetafdruk van ongeveer 720 GB, hoewel optimalisaties deze grootte aanzienlijk kunnen verminderen, zoals tot 131 GB door kwantisatie- en compressietechnieken [3].
Voor AWS -implementaties moet u meestal rekening houden met de volgende aspecten:
1. Modelopslag: de modelgewichten moeten worden opgeslagen op een locatie die toegankelijk is voor uw AWS -instanties. Dit kan in een S3 -bucket zijn, die vaak wordt gebruikt voor het opslaan van grote datasets en modelbestanden. De kosten voor het opslaan van het model in S3 zijn afhankelijk van de regio en de gebruikte opslagklasse (bijv. Standaard, standaard-IA, één zone-IA, enz.).
2. Instantopslag: bij het uitvoeren van het model op EC2 -instanties heeft u voldoende opslag nodig voor het besturingssysteem, eventuele extra software vereist en mogelijk tijdelijke opslag voor modeluitgangen of tussenliggende resultaten. Deze opslag wordt meestal geleverd door het wortelvolume van het exemplaar of extra EBS -volumes.
3. Gegevensopslag voor inferentie: als u het model gebruikt voor inferentietaken, heeft u mogelijk extra opslag nodig voor invoergegevens en uitvoerresultaten. Dit kan ook worden beheerd via S3 of andere AWS -opslagservices zoals EBS of instantie -winkelvolumes.
In termen van specifieke AWS -services wordt Amazon S3 vaak gebruikt voor het opslaan van modelgewichten vanwege de schaalbaarheid en betrouwbaarheid. Voor het uitvoeren van het model worden Amazon EC2 -instanties vaak gebruikt, met opslagbehoeften, afhankelijk van het instantietype en de configuratie. Voor grootschalige implementaties kan Amazon Sagemaker ook worden gebruikt, die een beheerde omgeving biedt voor taken van machine learning, waaronder modelopslag en inferentie.
Voor kostenoverwegingen zijn de opslagkosten in AWS afhankelijk van de specifieke gebruikte services. S3 -opslagkosten variëren bijvoorbeeld op basis van de opslagklasse en regio, terwijl de EC2 -instantiekosten zowel reken- als opslagcomponenten omvatten. Bovendien kan het gebruik van diensten zoals Sagemaker het beheer van deze kosten vereenvoudigen door een beheerde omgeving te bieden voor ML -taken.
Citaten:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-local-deplementatie-hardware-vereiste-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/de-deepseek-r1-distillilled-models-on-amazon-sagemaker-using-a-large-model-interne-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-Managed-Generally-Aldable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-Hosting-Deepseek-R1-distillilled-models-with-Hugging-Face-tgi-on-Amazon-Sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-lama-models-with-amazon-bed-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jckgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-aned-anaged-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepeek-r1-on-vagon-cloud-desktops