Pri nasadení DeepSeek-R1 na AWS nie sú požiadavky na ukladanie výslovne podrobne opísané z hľadiska konkrétnych služieb úložiska AWS. Samotný model si však vyžaduje významný úložný priestor pre svoje hmotnosti. Napríklad celý model DeepSeek-R1 má pôvodne stopu asi 720 GB, hoci optimalizácie môžu túto veľkosť výrazne znížiť, napríklad až 131 GB pomocou kvantizačných a kompresných techník [3].
V prípade nasadenia AWS musíte zvyčajne zvážiť tieto aspekty:
1. Ukladanie modelu: Hmotnosti modelu musia byť uložené v mieste prístupnom vašimi inštanciami AWS. Môže to byť v vedre S3, ktorá sa bežne používa na ukladanie veľkých súborov údajov a modelových súborov. Náklady na uloženie modelu v S3 závisia od použitej regiónu a triedy úložného priestoru (napr. Štandard, Standard-IA, One Zone-I. atď.).
2. Ukladanie inštancie: Pri spustení modelu v inštanciách EC2 budete potrebovať dostatočný úložný priestor pre operačný systém, akýkoľvek ďalší softvér potrebný a potenciálne dočasné úložisko pre výstupy modelu alebo stredne pokročilé výsledky. Toto úložisko zvyčajne poskytuje objem koreňov inštancie alebo ďalšie objemy EBS.
3. Ukladanie údajov pre inferenciu: Ak používate model pre inferenčné úlohy, možno budete potrebovať ďalšie ukladanie pre vstupné údaje a výstupné výsledky. To by sa mohlo spravovať aj prostredníctvom S3 alebo iných úložných služieb AWS, ako sú EBS alebo objemy inštancie.
Pokiaľ ide o konkrétne služby AWS, Amazon S3 sa často používa na ukladanie hmotností modelu vďaka škálovateľnosti a spoľahlivosti. Na spustenie modelu sa bežne používajú inštancie Amazon EC2, s potrebami úložiska v závislosti od typu inštancie a konfigurácie. V prípade rozsiahlych nasadení je možné využiť aj Amazon Sagemaker, čo poskytuje spravované prostredie pre úlohy strojového učenia vrátane ukladania modelu a inferencie.
Pokiaľ ide o náklady na náklady, náklady na skladovanie v AWS závisia od konkrétnych použitých služieb. Napríklad náklady na skladovanie S3 sa líšia v závislosti od triedy a regiónu úložiska, zatiaľ čo náklady na inštanciu EC2 zahŕňajú komplexné aj skladovacie komponenty. Okrem toho využívanie služieb ako Sagemaker môže zjednodušiť správu týchto nákladov poskytnutím riadeného prostredia pre úlohy ML.
Citácie:
[1] https://dev.to/askyt/deepseek-r1-architutec-training-mlocal-deployment-and-wardware-requirements-3MF8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distille-models-on-on-amazon-sagemaker-using-using-a-large-model-inference-container/
[5] https://www.aboutazon.com/news/aws/aws/awsdeepseek-r1-fluked-managed-genenerally-Available
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distille-models-with-hugging-face-tgi-on-amazon-sagemaker-ai/
Https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distille-llama-models-with-amazon-bedrock-custom-model-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/levering-deepseek-r1-on-aws?lang=en
Https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deployinginging-deepseek-r1-14b-on-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-now-available-as-a-eflufy-managed-serverless-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-tep-by-testep-guide-to-running-deepseek-r1-on-vagon-cloud-desktops