Vid distribution av Deepseek-R1 på AWS är lagringskraven inte uttryckligen detaljerade när det gäller specifika AWS-lagringstjänster. Men själva modellen kräver betydande lagringsutrymme för sina vikter. Till exempel har den fulla Deepseek-R1-modellen ursprungligen ett fotavtryck på cirka 720 GB, även om optimeringar kan minska denna storlek avsevärt, till exempel ner till 131 GB genom kvantiserings- och kompressionstekniker [3].
För AWS -distributioner måste du vanligtvis överväga följande aspekter:
1. Modelllagring: Modellvikterna måste lagras på en plats som är tillgänglig för dina AWS -instanser. Detta kan vara i en S3 -hink, som vanligtvis används för att lagra stora datasätt och modellfiler. Kostnaden för att lagra modellen i S3 beror på regionen och lagringsklassen som används (t.ex. standard, standard-ia, en zon-ia, etc.).
2. Instanslagring: När du kör modellen på EC2 -instanser behöver du tillräckligt med lagring för operativsystemet, eventuell ytterligare programvara som krävs och potentiellt tillfällig lagring för modellutgångar eller mellanresultat. Denna lagring tillhandahålls vanligtvis av instansens rotvolym eller ytterligare EBS -volymer.
3. Datalagring för inferens: Om du använder modellen för inferensuppgifter kan du behöva ytterligare lagring för inmatningsdata och utgångsresultat. Detta kan också hanteras via S3 eller andra AWS -lagringstjänster som EBS eller instansbutikvolymer.
När det gäller specifika AWS -tjänster används Amazon S3 ofta för att lagra modellvikter på grund av dess skalbarhet och tillförlitlighet. För att köra modellen används Amazon EC2 -instanser ofta, med lagringsbehov beroende på instansstyp och konfiguration. För storskaliga distributioner kan Amazon Sagemaker också användas, vilket ger en hanterad miljö för maskininlärningsuppgifter, inklusive modelllagring och inferens.
För kostnadsöverväganden beror lagringskostnaderna i AWS på de specifika tjänster som används. Till exempel varierar S3 -lagringskostnader baserat på lagringsklassen och regionen, medan EC2 -instanskostnaderna inkluderar både datorkomponenter och lagringskomponenter. Att använda tjänster som Sagemaker kan dessutom förenkla förvaltningen av dessa kostnader genom att tillhandahålla en hanterad miljö för ML -uppgifter.
Citeringar:
]
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy2
]
]
]
]
]
]
[11] https://vagon.io/blog/a-step-by-step-guide-to-ling-deepseek-r1-on-vagon-cloud-desktops