AWS'de Deepseek-R1'i dağıtarken, depolama gereksinimleri belirli AWS depolama hizmetleri açısından açıkça ayrıntılı olarak açıklanmaz. Bununla birlikte, modelin kendisi ağırlıkları için önemli depolama alanı gerektirir. Örneğin, tam Deepseek-R1 modeli başlangıçta yaklaşık 720GB'lık bir ayak izine sahiptir, ancak optimizasyonlar bu boyutu nicemleme ve sıkıştırma teknikleri yoluyla 131GB'a kadar önemli ölçüde azaltabilir [3].
AWS dağıtımları için, genellikle aşağıdaki yönleri göz önünde bulundurmanız gerekir:
1. Model Depolama: Model ağırlıklarının AWS örnekleriniz tarafından erişilebilen bir yerde saklanması gerekir. Bu, büyük veri kümelerini ve model dosyalarını depolamak için yaygın olarak kullanılan bir S3 kovasında olabilir. Modelin S3'te depolanmasının maliyeti, kullanılan bölgeye ve depolama sınıfına bağlıdır (örn. Standart, standart-ia, bir bölge-ia, vb.).
2. Örnek Depolama: Modeli EC2 örneklerinde çalıştırırken, işletim sistemi için yeterli depolamaya, gerekli herhangi bir ek yazılıma ve model çıkışları veya ara sonuçlar için potansiyel olarak geçici depolamaya ihtiyacınız olacak. Bu depolama tipik olarak örneğin kök hacmi veya ek EBS hacimleri tarafından sağlanır.
3. Çıkarım için Veri Depolama: Modeli çıkarım görevleri için kullanıyorsanız, giriş verileri ve çıktı sonuçları için ek depolamaya ihtiyacınız olabilir. Bu, S3 veya EBS veya örnek depolama hacimleri gibi diğer AWS depolama hizmetleri aracılığıyla da yönetilebilir.
Belirli AWS hizmetleri açısından, Amazon S3 genellikle ölçeklenebilirliği ve güvenilirliği nedeniyle model ağırlıklarını depolamak için kullanılır. Modeli çalıştırmak için Amazon EC2 örnekleri yaygın olarak kullanılır, örnek türüne ve yapılandırmaya bağlı olarak depolama ihtiyaçları vardır. Büyük ölçekli dağıtımlar için Amazon Sagemaker, model depolama ve çıkarım da dahil olmak üzere makine öğrenme görevleri için yönetilen bir ortam sağlayan Amazon Sagemaker da kullanılabilir.
Maliyet hususları için, AWS'deki depolama maliyetleri kullanılan belirli hizmetlere bağlıdır. Örneğin, S3 depolama maliyetleri depolama sınıfına ve bölgeye göre değişirken, EC2 örneği maliyetleri hem hesaplama hem de depolama bileşenlerini içerir. Ayrıca, Sagemaker gibi hizmetleri kullanmak, ML görevleri için yönetilen bir ortam sağlayarak bu maliyetlerin yönetimini basitleştirebilir.
Alıntılar:
[1] https://dev.to/askyt/deepseek-r1-architecture--local-deployment-and-hardware-wequirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/elfhosted/comments/1ic8zil/ye_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-disted-models-on-amazon-sagemaker-using--large-model-inence-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ullisy-nagerally-vailableable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-disted-models-with-hging-face-tgi-on-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/que-hcixrtfsasokh8gl-koga/pricing-model-of-depseek-r1-disted-llama-modeller-amazon-brock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/Leveraging-deepseek-r1-on-waws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-Aazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-evailable-acle-ullisy-solleged-sverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-se-guide-to-running-deepseek-r1-on-vagon-cloud-deskttops