DeepSEEEK-R1 juurutamisel AWS-ile ei ole salvestusnõuded konkreetsete AWS-i salvestusteenuste osas selgesõnaliselt üksikasjalikud. Kuid mudel ise nõuab oma raskuste jaoks märkimisväärset salvestusruumi. Näiteks on täieliku DeepSEEK-R1 mudelil algselt umbes 720 GB jalajälg, ehkki optimeerimised võivad seda suurust märkimisväärselt vähendada, näiteks kvantifitseerimise ja tihendamise tehnikate abil kuni 131 GB [3].
AWS -i juurutamise korral peate tavaliselt kaaluma järgmisi aspekte:
1. mudeli salvestusruum: mudeli kaal tuleb salvestada AWS -i eksemplaridele juurdepääsetavas asukohas. See võib olla S3 ämbris, mida tavaliselt kasutatakse suurte andmekogumite ja mudelifailide salvestamiseks. Mudeli S3-s hoidmise kulud sõltuvad piirkonnast ja kasutatavast ladustamisklassist (nt standard, standard-ia, üks tsoon-ia jne).
2. eksemplari salvestamine: EC2 eksemplaridel mudeli käivitamisel vajate opsüsteemi jaoks piisavalt salvestusruumi, vajalikku täiendavat tarkvara ja potentsiaalselt ajutist salvestusruumi mudeli väljundite või vahetulemuste jaoks. Selle salvestusruumi tagab tavaliselt eksemplari juurte maht või täiendavad EBS -i mahud.
3. Andmete salvestamine järelduste saamiseks: kui kasutate mudelit järeldamisülesannete jaoks, võite vajada sisendandmete ja väljundtulemuste jaoks täiendavat salvestusruumi. Seda saab hallata ka S3 või muude AWS -i salvestusteenuste kaudu, näiteks EBS või eksemplaripoe mahud.
Konkreetsete AWS -teenuste osas kasutatakse Amazon S3 -d sageli mudeli raskuste salvestamiseks selle mastaapsuse ja töökindluse tõttu. Mudeli käitamiseks kasutatakse tavaliselt Amazon EC2 eksemplare, sõltuvalt eksemplari tüübist ja konfiguratsioonist koos salvestusvajadustega. Suuremahuliste juurutuste jaoks saab kasutada ka Amazon Sagemakerit, mis pakub hallatava keskkonna masinõppe ülesanneteks, sealhulgas mudeli salvestamise ja järelduste jaoks.
Kuludega seotud kaalutluste korral sõltuvad AWS -i ladustamiskulud konkreetsetest kasutatavatest teenustest. Näiteks varieeruvad S3 ladustamiskulud ladustamisklassist ja piirkonnast, samas kui EC2 eksemplari kulud hõlmavad nii arvutus- kui ka salvestuskomponente. Lisaks saab selliste teenuste kasutamine nagu SageMaker nende kulude haldamist lihtsustada, pakkudes ML -ülesannete jaoks hallatavat keskkonda.
Tsitaadid:
]
[2] https://www.byteplus.com/en/topic/383522
]
]
]
]
]
]
]
]
]