Expery tipa izvēle ievērojami ietekmē DeepSEEK-R1 vadīšanas izmaksas mākoņu platformās, piemēram, AWS. Šeit ir detalizēts sadalījums tam, kā dažādi gadījumu veidi un konfigurācijas ietekmē izmaksas:
1. Instanču veidi un cenas:
- AWS: DeepSEEK-R1 vadīšanas izmaksas AWS ir atkarīgas no izvēlētā gadījuma tipa. Piemēram, izmantojot ML.G5.2XLarge instanci, nodrošina labu veiktspējas un izmaksu līdzsvaru liela mēroga secinājumu uzdevumiem [4]. Tomēr intensīvākiem aprēķiniem var izmantot lielākus gadījumus, piemēram, C8G.16xlarge on AWS Graviton4, kas mēnesī maksā apmēram 1 863 USD pēc cenām pēc pieprasījuma [6]. To var samazināt ar EC2 uzkrājumu plāniem vai tūlītējiem gadījumiem, piedāvājot ievērojamas atlaides partijas secinājumu uzdevumiem.
2. veiktspēja un izmaksu optimizācija:
-Partija pret reālā laika secinājumiem: Liela mēroga secinājumiem lielāki partijas izmēri var optimizēt gan izmaksas, gan veiktspēju. Partiju transformācija bezsaistes secinājumiem vēl vairāk samazina izmaksas, apstrādājot datus vairumā, nevis reāllaikā [4].
- Vietas gadījumi: Vietējo gadījumu izmantošana var piedāvāt līdz 90% atlaidi, salīdzinot ar cenu noteikšanu pēc pieprasījuma, padarot tos par ideālu pakešu apstrādei, kur pārtraukumi ir pārvaldāmi [6].
3. Aparatūras apsvērumi:
- GPU pret CPU: Lai gan GPU, piemēram, NVIDIA H100, ir jaudīgi, tie ir dārgi. CPU izmantošana ar plašu RAM, it īpaši tādiem modeļiem kā DeepSEEK-R1, kas izmanto ekspertu (MOE) arhitektūras sajaukumu, var būt rentablāks [8].
-Alternatīvi pakalpojumu sniedzēji: ņemot vērā AMD MI300 mezglus uz Azure vai 2. līmeņa mākoņu pakalpojumu sniedzējiem, varētu piedāvāt labākus izmaksu veiktspējas koeficientus, salīdzinot ar augstākās klases GPU konfigurācijām [8].
4. izmaksu samazināšanas stratēģijas:
-Rezervēti gadījumi: Apņemšanās veikt rezervētus gadījumus var sniegt ievērojamas atlaides, salīdzinot ar pieprasījumu pēc pieprasījuma ilgtermiņa lietošanai.
- Automātiskā mērogošana: Spotikumu sajaukšana ar pieprasījuma gadījumiem, izmantojot automātisko mērogošanu, var līdzsvarot pieejamību un izmaksas.
-Optimizēti cenu noteikšanas modeļi: Daži pakalpojumu sniedzēji piedāvā cenu noteikšanu uz vienu, kas var būt rentablāks attiecībā uz periodiskām AI vajadzībām, salīdzinot ar skaitļošanas resursu apmaksu [1].
Rezumējot, gadījuma veida izvēle ietekmē izmaksas, ietekmējot līdzsvaru starp veiktspēju un resursu patēriņu. Instanču izvēles optimizēšana, pamatojoties uz īpašām darba slodzes prasībām, izmaksu taupīšanas stratēģiju izmantošanu, piemēram, SPOT gadījumiem, un, ņemot vērā alternatīvas aparatūras iespējas, var ievērojami samazināt kopējās izmaksas, kas saistītas ar DeepSEEK-R1 darbību.
Atsauces:
[1] https://campustechnology.com/articles/2025/02/04/aws-microsoft-google-others-make-depseek-r1-ai-Model
[2] https://www.linkedin.com/posts/zhu-liang_deepseek-r1-is-better-and-cheaper-wrong-activity-7288814972271280128-vuyuu
[3] https://forum.effectivealtruism.org/posts/d3ifbmyu5gte8xriz/is-depseek-r1-already-better-than-o3-when-inference-izmaksas
.
.
[6] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-depseek-r1-distill-llama-70b-for--patch-inerence-on-onws-graviton4?lang=enen
[7] https://www.reddit.com/r/localllama/comments/1ibm5u3/how_can_we_be_so_sure_the_training_of_deepseek_r1/
[8] https://www.reddit.com/r/localllama/comments/1icukfm/running_deepseek_r1_on_aws_cost_hardware/