Quando si distribuiscono DeepSeek-R1 su AWS, i requisiti di archiviazione non sono esplicitamente dettagliati in termini di specifici servizi di archiviazione AWS. Tuttavia, il modello stesso richiede uno spazio di archiviazione significativo per i suoi pesi. Ad esempio, il modello completo DeepSeek-R1 ha originariamente un'impronta di circa 720 GB, sebbene le ottimizzazioni possano ridurre significativamente questa dimensione, come fino a 131 GB attraverso le tecniche di quantizzazione e compressione [3].
Per le distribuzioni AWS, in genere è necessario considerare i seguenti aspetti:
1. Archiviazione del modello: i pesi del modello devono essere archiviati in una posizione accessibile dalle istanze AWS. Questo potrebbe essere in un secchio S3, che viene comunemente utilizzato per la memorizzazione di set di dati e file di modello di grandi dimensioni. Il costo di conservazione del modello in S3 dipende dalla regione e dalla classe di stoccaggio utilizzata (ad es. Standard, Standard-IA, One Zone-IA, ecc.).
2. Archiviazione di istanza: quando si esegue il modello sulle istanze EC2, è necessario una memoria sufficiente per il sistema operativo, qualsiasi software aggiuntivo richiesto e memoria potenzialmente temporanea per output del modello o risultati intermedi. Questa memoria è in genere fornita dal volume della radice dell'istanza o dai volumi EBS aggiuntivi.
3. Archiviazione dei dati per l'inferenza: se si utilizza il modello per le attività di inferenza, potrebbe essere necessario archiviazione aggiuntiva per i risultati dei dati di input e dell'output. Questo potrebbe anche essere gestito tramite S3 o altri servizi di archiviazione AWS come EBS o volumi di store di istanze.
In termini di specifici servizi AWS, Amazon S3 viene spesso utilizzato per conservare i pesi del modello a causa della sua scalabilità e affidabilità. Per l'esecuzione del modello, vengono comunemente utilizzate le istanze di Amazon EC2, con le esigenze di archiviazione in base al tipo e alla configurazione dell'istanza. Per le distribuzioni su larga scala, può anche essere utilizzato Amazon Sagemaker, che fornisce un ambiente gestito per le attività di apprendimento automatico, tra cui l'archiviazione e l'inferenza dei modelli.
Per le considerazioni sui costi, i costi di stoccaggio in AWS dipendono dai servizi specifici utilizzati. Ad esempio, i costi di archiviazione S3 variano in base alla classe di archiviazione e alla regione, mentre i costi di istanza EC2 includono componenti di calcolo e di archiviazione. Inoltre, l'utilizzo di servizi come SageMaker può semplificare la gestione di questi costi fornendo un ambiente gestito per le attività ML.
Citazioni:
[1] https://dev.to/askyt/deepseek-r1-architecture-training-cal-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ully-managed-generally-vailable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-distilled-models-with-hugging-tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-dtisillitel-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-ra-aws?lang=en
[9] https://community.aws/content/2SeuhqlpyifswCkzmx585jckn/deploying-deepseek-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-n1-now-available-as-a-ully-manage-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-pep-by-pep-guide-to-running-deepseek-r1-on-vagon-cloud-desktops