Tilpasning af DeepSeek-R1-modeller involverer flere omkostningskomponenter, især når du implementerer dem på platforme som Amazon Web Services (AWS). Her er en detaljeret oversigt over omkostningerne forbundet med tilpasning og implementering af DeepSeek-R1-modeller:
1. Uddannelsesomkostninger: De indledende træningsomkostninger for DeepSeek-R1 er signifikant lavere sammenlignet med andre modeller som ChatGpt O1. DeepSeek-R1 anslås at koste mellem $ 6 millioner til at træne, hvilket er 16x til 33x billigere end Chatgpt O1 [3]. Imidlertid er disse omkostninger til den oprindelige udvikling og træning af modellen, ikke til tilpasning.
2. Tilpasning og implementering på AWS: Når du tilpasser DeepSeek-R1-modeller ved hjælp af Amazon Bedrocks brugerdefinerede modelimportfunktion, er der flere omkostninger at overveje:
- Inferensomkostninger: Disse er baseret på antallet af aktive modelkopier og deres varighed af aktivitet. Prisfastsættelsen pr. Brugerdefineret modelenhed (CMU) varierer afhængigt af faktorer som arkitektur og region. For eksempel er prisen pr. CMU pr. Minut $ 0,0785 [4].
- Opbevaringsomkostninger: Der er en månedlig opbevaringsomkostning pr. CMU, hvilket er $ 1,95 [4]. Antallet af krævede CMU'er afhænger af modellens arkitektur og kontekstlængde.
3. Eksempel Omkostningsberegning: For en dybseek-R1-Distill-LLAMA-8B-model, der kræver 2 cmus, hvis modellen er aktiv i 1 time om dagen, ville de daglige inferensomkostninger være ca. $ 9,42. I løbet af en måned udgør dette til $ 282,60 for inferens og $ 3,90 for opbevaring, hvilket resulterer i en samlet estimeret månedlig omkostning på $ 286,50 [4].
4. Prisfastsættelse på efterspørgsel for DeepSeek-modeller: På AWS er prisfastsættelsen on-demand for Deepseek-modeller som Deepseek R-1 $ 0,00135 pr. 1.000 input-tokens og $ 0,0054 pr. 1.000 output-tokens [8]. Denne prismodel er nyttig til applikationer, der kræver fleksibel brug uden langsigtede forpligtelser.
Sammenfattende involverer tilpasning af DeepSeek-R1-modeller omkostninger relateret til modelinstallation og brug på platforme som AWS, med specifikke gebyrer for inferens og opbevaring baseret på brugerdefinerede modelenheder. De oprindelige træningsomkostninger for modellen er markant lavere end sammenlignelige modeller, hvilket gør det til en omkostningseffektiv mulighed for AI-applikationer.
Citater:
[1] https://api-docs.deepseek.com/quick_start/pricing
[2] https://www.together.ai/models/deepseek-r1
[3] https://www.creolestudios.com/deepseek-vs-chatgpt-cost-comparison/
)
)
[6] https://team-gpt.com/blog/deepseek-pricing/
[7] https://www.reddit.com/r/machinelearning/comments/1icfbll/d_deepseek_distillation_and_training_costs/
[8] https://aws.amazon.com/bedrock/pricing/