„Deepseeek-R1“ modelių latentinis ir pralaidumo optimizavimas AWS GPU egzemplioriuose apima keletą strategijų, kurios pasitelkia AWS paslaugas, aparatinės įrangos konfigūracijas ir modelio optimizavimą. Čia yra išsamus vadovas, skirtas pagerinti našumą:
1. Pasirinkite tinkamą aparatūrą **
- egzemplioriaus pasirinkimas: AWS siūlo įvairius GPU egzempliorius, tokius kaip „Ml.G5“, „Ml.G6“ ir „Ml.P4D“, kiekvienas su skirtingais GPU tipais (pvz., NVIDIA A10G, L4, L40S ir A100). „Deepseek-R1“ modeliams, tokiems kaip „Ml.g6e.xlarge“ ir „Ml.P4D.24xlarge“, parodė aukštą našumą dėl jų galingo GPU ir atminties talpos [1] [4].- GPU skaičius: padidinus GPU skaičių viename egzemplioriuje, galima žymiai pagerinti pralaidumą, leisdamas modeliui pleiskanojant per kelis GPU. Dideliems modeliams, tokiems kaip „Deepseek-R1-Distill-Llama-70b“, rekomenduojama naudoti egzempliorius su 8 GPU (pvz., "Ml.g6e.48xLarge`) [4].
2. Modelio optimizavimo metodai **
-Distiliavimas modelyje: Naudojant distiliuotas „Deepseek-R1“ versijas, tokias kaip „Deepseeek-R1-Distill-QWEN“ ir „Llam“ variantai, gali sumažinti skaičiavimo reikalavimus, išlaikant priimtiną našumą. Šie modeliai yra mažesni ir efektyvesni, todėl jie yra tinkami žemesnės klasės GPU [1] [3].- Kiekybinis ir mišrus tikslumas: Technikos, tokios kaip kvantizavimas ir mišrus tikslumas (pvz., Naudojant BFLOAT16), gali sumažinti atminties naudojimą ir pagerinti išvadų greitį be reikšmingo tikslumo praradimo [1].
3. AWS paslaugos ir įrankiai **
- „Amazon Sagemaker“: naudokite „Sagemaker“ supaprastintą diegimo procesą „Deepseek-R1“ modeliams. Tai palaiko veido teksto generavimo išvadą (TGI), kuris supaprastina modelio prieglobos ir optimizavimą [1].- „Deepspeed“: pasinaudokite „Deepspeed“ technologija, skirta optimizuoti išteklių naudojimą EC2 egzemplioriuose. Tai gali lemti geresnius rezultatus su mažiau išteklių, sumažinant išlaidas [2].
4. Mastelio keitimas ir suderinamumas **
- Lygiagrečių nustatymai: Remdamiesi jūsų programos poreikiais, pritaikykite suderinamumo lygius. Didesnis suderinamumas gali padidinti pralaidumą, tačiau taip pat gali padidinti vėlavimą, jei jis nebus tinkamai valdomas [4].-Automatinis skalavimas: Įdiekite automatinį mastelį naudodami AWS paslaugas, tokias kaip EC2 automatinis mastelio keitimas arba „Sagemaker“ įmontuotos mastelio keitimo funkcijos, kad dinamiškai sureguliuotumėte egzempliorių skaičių, atsižvelgiant į darbo krūvio poreikius [6].
5. Optimizuokite įvesties/išvesties operacijas **
- Įvesties žetono ilgis: Įvertinkite savo modelių, turinčių skirtingą įvesties žetonų ilgį, našumą. Trumpesni įėjimai paprastai lemia greitesnį išvadą, o ilgesnėms įvestims gali prireikti galingesnių atvejų [1] [4].- Išvesties prieigos rakto ilgis: Panašiai, koreguojant išvesties žetonų ilgį, gali paveikti našumą. Optimizuokite šiuos parametrus pagal jūsų konkretų naudojimo atvejį.
6. Kainų optimizavimas **
- egzempliorių tipai: balanso našumas ir išlaidos, pasirinkdami egzempliorių tipus, kurie siūlo geriausią kainos ir našumo santykį. Pavyzdžiui, pažymėtos G4 atvejais dėl jų ekonomiškumo AI darbo krūviuose [2].- Rezervuoti egzemplioriai ir taškiniai egzemplioriai: Naudokite rezervuotus egzempliorius nuspėjamam darbo krūviui ir taškinių egzempliorių paketinėms užduotims ar užduotims, kur pertraukimai yra toleruojami siekiant sumažinti išlaidas [3].
Įdiegę šias strategijas, galite žymiai optimizuoti „Deepseeek-R1“ modelių latenciją ir pralaidumą AWS GPU egzemplioriuose.
Citatos:
[1] https://aws.amazon.com/blogs/machine-learning/optimize-hosting-deepseek-r1-distilled-models-with-hugging-face-on-on-amazon-sagemaker-ai/
[2] https://community.aws/content/2shgs4eqeekz32oozn7am5lngex/benefits-of-installing-deepseek-on-an-aws-ec2 instance?lang=en
[3] https://community.aws/content/2rhrji6cxba1ib5f3tjsfpadpxs/deploying-deepseek-r1-distill-llama-70b-for-batch-infer-on-aws-graviton4?lang=en
[4] https://aws.amazon.com/blogs/machine-learning/depall-deepseek-r1-distilled-models-on-amazon-sagemaker-using-a-large-model-inference-container/
[5] https://www.reddit.com/r/selfhosted/comments/1ibl5wr/how_much_money_would_i_need_to_run_r1_deepseek/
[6] https://community.aws/content/2Siuccxq3fbz5ntfgtguzui90y2/deepseek-r1-guide-to-running-multiple-variants-on-ws
[7] https://huggingface.co/blog/deepseek-r1-aws
[8] https://aws.amazon.com/blogs/machine-learning/deepseek-r1-model-now-avable-in-amazon-drock-marketplace-and-mazon-sagemaker-jumpstart/
[9] https://vagon.io/blog/a-sphe-sphe-puide-to-running-deepseek-r1-on-vagon-cloud-desktops