Deepseek-R1 tõhusalt käitamine AWS-is nõuab õiget tüüpi tüüpide valimist, mis põhinevad konkreetsel mudeli variandil ja soovitud jõudlusel. Siin on üksikasjalik ülevaade erinevate DeepSEEK-R1 mudelite soovitatud AWS-i eksemplaridest:
Deepseek-R1 (täismudel)
671 miljardi parameetriga DeepSEEK-R1 mudel nõuab märkimisväärset arvutusressurssi. Optimaalseks jõudluseks on soovitatav mitme GPU seadistus, näiteks kasutada NVIDIA A100 GPU-d. Kuid AWS ei paku otseselt A100 GPU -d oma standardsetes EC2 juhtudes. Selle asemel võite kaaluda juhtumite kasutamist nagu "INF2.48XLARGE" sarnaste suure jõudlusega arvutusvajaduste jaoks, ehkki need sobivad pigem järelduste kiirendamiseks, selle asemel, et koolitada selliseid suuri mudeleid nagu Deepseek-R1 [4].Deepseek-R1 destilleeritud mudelid
Deepseek-R1 destilleeritud versioonide jaoks, mis on tõhusamad ja vajavad vähem VRAM-i, võib kasutada erinevaid AWS-eksemplare:-Deepseek-R1-Distill-Qwen-1.5B: seda mudelit saab tõhusalt käivitada ühe GPU eksemplari korral. Selle mudeli hostimiseks on soovitatav oma jõudlusmõõdikute tõttu soovitatav eksemplar `ml.g5.xlarge` [3].
-Deepseek-R1-Distill-Qwen-7B ja Deepseek-R1-distill-lllama-8B: need mudelid toimivad hästi juhtumitega nagu `ml.g6e.xlarge`, mis pakub head tasakaalu GPU võimsusest ja kuludest. Ekväed on ka elujõulised võimalused `ml.g5.2xlarge` ja` ml.g5.xlarge` eksemplarid [3].
-Deepseek-R1-Distill-Qwen-14B: selle mudeli jaoks on vaja võimsama GPU-ga eksemplari. NVIDIA T4 GPU -dega eksemplar `g4dn.xlarge` eksemplar ei pruugi VRAM -i piirangute tõttu piisata. Selle asemel kaaluge võimsamate GPU-dega, nagu perekonnas ML.G6`, või valige kõrgema hinnaga GPU-dega kohandatud seadistus, kui see on olemas [1] [2].
-Deepseek-R1-Distill-Qwen-32B ja Deepseek-R1-Distill-lllama-70B: need suuremad mudelid vajavad veelgi võimsamaid GPU-sid. Optimaalseks jõudluse saavutamiseks on soovitatav esineda selliste tipptasemel GPU-dega nagu NVIDIA RTX 4090, ehkki sellised konkreetsed GPU-d pole AWS EC2 eksemplaridel otse saadaval. Suure jõudlusega järeldatavate ülesannete jaoks saate siiski kasutada juhtumeid nagu `Inf2.48XLarge" [4] [6].
CPU-põhine juurutamine
Pakkide töötlemise ülesannete jaoks, kus latentsus ei ole kriitiline tegur, võivad AWS Graviton4-põhised juhtumid pakkuda kulutõhusat lahendust. Kõrge südamiku arvu ja mälu ribalaiusega eksemplar `C8G.16xlarge` sobib selliste mudelite kasutamiseks nagu Deepseek-R1-Distill-lllama-70B ainult CPU-keskkonnas [6].täielikult hallatud lahendused
Kasutajatele, kes eelistavad infrastruktuuri hallata, on DeepSEEK-R1 saadaval ka Amazon Bedrockis täielikult hallatava serverita mudelina. See valik võimaldab teil mudeli võimalusi ära kasutada, muretsemata infrastruktuuri keerukuse pärast [9].Kokkuvõtlikult sõltub AWS-i eksemplari valik DeepSEEK-R1 käitamiseks tõhusalt konkreetsest mudeli variandist, nõutavast jõudlustasemest ja sellest, kas GPU kiirendus on vajalik. Enamiku destilleeritud mudelite jaoks on soovitatav võimsa GPU-dega eksemplare, samas kui protsessoripõhised eksemplarid võivad olla sobivad partiide töötlemise ülesannete täitmiseks.
Tsitaadid:
]
]
]
[4] https://huggingface.co/blog/deepseek-r1-aws
]
]
]
]
]