Kun AWS: n DeepSeek-R1 otetaan käyttöön, tallennusvaatimukset eivät ole nimenomaisesti yksityiskohtaisia erityisten AWS-tallennuspalvelujen suhteen. Itse malli vaatii kuitenkin merkittävän tallennustilan painonsa. Esimerkiksi koko DeepSeek-R1-mallin alun perin jalanjälki on noin 720 Gt, vaikka optimoinnit voivat vähentää tätä kokoa merkittävästi, kuten 131 Gt: iin kvantisointi- ja puristustekniikoiden avulla [3].
AWS -käyttöönottoihin sinun on yleensä harkittava seuraavia näkökohtia:
1. Mallin tallennus: Mallipainot on tallennettava sijaintiin, joka on saatavana AWS -tapauksillasi. Tämä voi olla S3 -ämpäri, jota käytetään yleisesti suurten tietojoukkojen ja mallitiedostojen tallentamiseen. Mallin tallentamiskustannukset S3: ssa riippuu alueesta ja käytetystä varastoluokasta (esim. Standardi, standard-II, yksi vyöhyke-II jne.).
2. Esimerkkivarasto: Kun suoritat mallia EC2 -ilmentymisissä, tarvitset riittävästi tallennustilaa käyttöjärjestelmään, tarvittavia lisäohjelmistoja ja mahdollisesti väliaikaisia tallennustilaa mallin lähdöille tai välituloksille. Tämän tallennustilan tarjoaa tyypillisesti ilmentymän juurimäärän tai ylimääräiset EBS -volyymit.
3. Tätä voidaan hallita myös S3: n tai muiden AWS -tallennuspalvelujen, kuten EBS- tai Instance Store -määrien avulla.
Erityisten AWS -palveluiden suhteen Amazon S3: ta käytetään usein mallipainojen tallentamiseen sen skaalautuvuuden ja luotettavuuden vuoksi. Mallin suorittamiseksi käytetään yleisesti Amazon EC2 -tapahtumia, ja tallennustarpeet riippuen ilmentymätyypistä ja kokoonpanosta. Laajamittaisia käyttöönottoja varten voidaan käyttää myös Amazon Sagemakeria, joka tarjoaa hallittu ympäristön koneoppimistoimiin, mukaan lukien mallin varastointi ja päätelmät.
Kustannusnäkökohdat AWS: n varastointikustannukset riippuvat käytetyistä erityisistä palveluista. Esimerkiksi S3 -tallennuskustannukset vaihtelevat tallennusluokan ja alueen perusteella, kun taas EC2 -ilmentymän kustannukset sisältävät sekä laskenta- että tallennuskomponentit. Lisäksi Sagemakerin kaltaisten palvelujen käyttäminen voi yksinkertaistaa näiden kustannusten hallintaa tarjoamalla hallittu ympäristö ML -tehtäville.
Viittaukset:
.
[2] https://www.byteplus.com/en/topic/383522
.
.
.
.
.
.
[9.
[10.
.