Ao implantar Deepseek-R1 na AWS, os requisitos de armazenamento não são explicitamente detalhados em termos de serviços específicos de armazenamento da AWS. No entanto, o próprio modelo requer espaço de armazenamento significativo para seus pesos. Por exemplo, o modelo completo de Deepseek-R1 originalmente possui uma pegada de cerca de 720 GB, embora as otimizações possam reduzir significativamente esse tamanho, como até 131 GB por meio de técnicas de quantização e compressão [3].
Para implantações da AWS, você normalmente precisa considerar os seguintes aspectos:
1. Armazenamento do modelo: os pesos do modelo precisam ser armazenados em um local acessível por suas instâncias da AWS. Isso pode estar em um balde S3, que é comumente usado para armazenar grandes conjuntos de dados e arquivos de modelo. O custo de armazenar o modelo em S3 depende da região e da classe de armazenamento utilizada (por exemplo, padrão, padrão-ia, uma zona-ia, etc.).
2. Armazenamento da instância: Ao executar o modelo em instâncias do EC2, você precisará de armazenamento suficiente para o sistema operacional, qualquer software adicional necessário e armazenamento potencialmente temporário para saídas de modelo ou resultados intermediários. Esse armazenamento é normalmente fornecido pelo volume raiz da instância ou por volumes EBS adicionais.
3. Armazenamento de dados para inferência: Se você estiver usando o modelo para tarefas de inferência, poderá precisar de armazenamento adicional para dados de entrada e resultados de saída. Isso também pode ser gerenciado por meio de serviços de armazenamento S3 ou outros serviços de armazenamento da AWS, como EBS ou Volumes da Store de instância.
Em termos de serviços específicos da AWS, o Amazon S3 é frequentemente usado para armazenar pesos do modelo devido à sua escalabilidade e confiabilidade. Para executar o modelo, as instâncias do Amazon EC2 são comumente usadas, com necessidades de armazenamento, dependendo do tipo de instância e configuração. Para implantações em larga escala, a Amazon Sagemaker também pode ser utilizada, o que fornece um ambiente gerenciado para tarefas de aprendizado de máquina, incluindo armazenamento e inferência de modelo.
Para considerações de custo, os custos de armazenamento na AWS dependem dos serviços específicos utilizados. Por exemplo, os custos de armazenamento S3 variam com base na classe de armazenamento e na região, enquanto os custos de instância do EC2 incluem componentes de computação e armazenamento. Além disso, o uso de serviços como o Sagemaker pode simplificar o gerenciamento desses custos, fornecendo um ambiente gerenciado para tarefas de ML.
Citações:
[1] https://dev.to/askyt/deepseek-r1-architecture-drening-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-ly-ly-anaged-generalmente
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with--igging--tgi-on-amazon-sagemaker-ai/
[7] https://repost.aws/questions/quhcixrtfsaskh8gl-koga/pricing-model-ofdeepseek-r1-distilled-lama-models-with-mazon-bedrock-custom-model-odel
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/leveraging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek--now-available-as-ly-ly-ly-managed-severless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-tep-by-tep-guide-to-running-deepseek-r1-on-vagon-cloud-de-desktops