Κατά την ανάπτυξη του Deepseek-R1 στο AWS, οι απαιτήσεις αποθήκευσης δεν είναι ρητά λεπτομερώς με βάση συγκεκριμένες υπηρεσίες αποθήκευσης AWS. Ωστόσο, το ίδιο το μοντέλο απαιτεί σημαντικό χώρο αποθήκευσης για τα βάρη του. Για παράδειγμα, το πλήρες μοντέλο Deepseek-R1 έχει αρχικά ένα αποτύπωμα περίπου 720GB, αν και οι βελτιστοποιήσεις μπορούν να μειώσουν σημαντικά αυτό το μέγεθος, όπως σε 131GB μέσω τεχνικών ποσοτικοποίησης και συμπίεσης [3].
Για την ανάπτυξη του AWS, συνήθως πρέπει να εξετάσετε τις ακόλουθες πτυχές:
1. Αποθήκευση μοντέλου: Τα βάρη μοντέλου πρέπει να αποθηκεύονται σε μια τοποθεσία προσβάσιμη από τις περιπτώσεις AWS. Αυτό θα μπορούσε να είναι σε έναν κάδο S3, ο οποίος χρησιμοποιείται συνήθως για την αποθήκευση μεγάλων συνόλων δεδομένων και αρχείων μοντέλων. Το κόστος αποθήκευσης του μοντέλου στο S3 εξαρτάται από την περιοχή και τη χρησιμοποιούμενη κλάση αποθήκευσης (π.χ. Standard, Standard-IA, μία ζώνη-IA κ.λπ.).
2. Αποθήκευση στιγμής: Κατά την εκτέλεση του μοντέλου σε περιπτώσεις EC2, θα χρειαστείτε επαρκή αποθήκευση για το λειτουργικό σύστημα, οποιοδήποτε πρόσθετο λογισμικό που απαιτείται και ενδεχομένως προσωρινή αποθήκευση για εξόδους μοντέλων ή ενδιάμεσα αποτελέσματα. Αυτή η αποθήκευση παρέχεται τυπικά από τον όγκο ρίζας της στιγμής ή τους πρόσθετους όγκους EBS.
3. Αποθήκευση δεδομένων για συμπεράσματα: Εάν χρησιμοποιείτε το μοντέλο για εργασίες συμπερασμάτων, ενδέχεται να χρειαστείτε πρόσθετη αποθήκευση για δεδομένα εισόδου και αποτελέσματα εξόδου. Αυτό θα μπορούσε επίσης να αντιμετωπιστεί μέσω S3 ή άλλων υπηρεσιών αποθήκευσης AWS όπως EBS ή όγκοι καταστημάτων.
Από την άποψη των συγκεκριμένων υπηρεσιών AWS, το Amazon S3 χρησιμοποιείται συχνά για την αποθήκευση βάρη μοντέλων λόγω της επεκτασιμότητας και της αξιοπιστίας του. Για την εκτέλεση του μοντέλου, χρησιμοποιούνται συνήθως περιπτώσεις Amazon EC2, με ανάγκες αποθήκευσης ανάλογα με τον τύπο και τη διαμόρφωση του instance. Για αναπτύξεις μεγάλης κλίμακας, η Amazon Sagemaker μπορεί επίσης να χρησιμοποιηθεί, το οποίο παρέχει ένα διαχειριζόμενο περιβάλλον για εργασίες μηχανικής μάθησης, συμπεριλαμβανομένης της αποθήκευσης μοντέλων και των συμπερασμάτων.
Για εκτιμήσεις κόστους, το κόστος αποθήκευσης σε AWS εξαρτάται από τις συγκεκριμένες υπηρεσίες που χρησιμοποιούνται. Για παράδειγμα, τα έξοδα αποθήκευσης S3 ποικίλλουν ανάλογα με την κλάση και την περιοχή αποθήκευσης, ενώ το κόστος παρουσίας EC2 περιλαμβάνει τόσο υπολογιστικά όσο και εξαρτήματα αποθήκευσης. Επιπλέον, η χρήση υπηρεσιών όπως το Sagemaker μπορεί να απλοποιήσει τη διαχείριση αυτών των δαπανών παρέχοντας ένα διαχειριζόμενο περιβάλλον για εργασίες ML.
Αναφορές:
[1] https://dev.to/askyt/deepseek-r1-architecture-traing-local-deployment-and-hardware-requirements-3mf8
[2] https://www.byteplus.com/en/topic/383522
[3] https://www.reddit.com/r/selfhosted/comments/1ic8zil/yes_you_can_run_deepseekr1_locally_on_your_device/
[4] https://aws.amazon.com/blogs/machine-learning/deploy-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.aboutamazon.com/news/aws/aws-deepseek-r1-fully-generally-vailableable
[6] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-tgi-amazon-sagemaker-ai/
[7] https://repost.aws/questions/qu-hcixrtfsasokh8gl-koga/pricing-model-of-deepseek-r1-distilled-lama-models-with-amazon-bedrock-custom-model-import-import
[8] https://community.aws/content/2z6dlaohx12yunoeas7qb5yth0q/levenaging-deepseek-r1-on-aws?lang=en
[9] https://community.aws/content/2seuhqlpyifswckzmx585jcksgn/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[10] https://aws.amazon.com/blogs/aws/deepseek-r1-n1-now-available-as-a-fly-manager-servernerter-model-in-amazon-bedrock/
[11] https://vagon.io/blog/a-step-by-step-guide-to-running-deepseek-r1-on-bagon-cloud-desktops