Deepseeki kasutamine kaubandusliku riiuliga (COT) riistvara suurendab märkimisväärselt selle kulutõhusust mitmel peamisel viisil:
1. Vähendatud infrastruktuuri kulud: võrevoodi riistvara abil väldib Deepseek vajadust kallite, spetsiaalsete süsteemide järele, mida tavaliselt vajatakse suure jõudlusega AI arendamiseks. See lähenemisviis vähendab infrastruktuurikulusid, muutes AI täiustatud võimalused väiksematele ettevõtetele kättesaadavamaks ja vähendades AI turul sisenemise rahalisi tõkkeid [1] [3].
2. Optimeeritud ressursside kasutamine: Deepseeki strateegia hõlmab tarkvara optimeerimist, et saada olemasolevatest ressurssidest maksimaalne väärtus. Sellised tehnikad, nagu näiteks ekspertide segu (MOE) arhitektuur, võimaldavad mudelil aktiveerida ainult konkreetsete ülesannete jaoks vajalikud parameetrid, minimeerides arvutusjäätmeid ja vähendades vajadust tipptasemel GPU-de järele [3] [10]. See sihipärane lähenemisviis ei vähenda mitte ainult kulusid, vaid laiendab ka riistvara eluiga ja vähendab energiatarbimist.
3. sujuvamaks koolitusprotsess: DeepEek möödub traditsioonilistest treeningjärkudest, näiteks juhendatud peen-shot (SFS) etapist, rakendades otsest torustikku alates eelnevast kuni tugevdamise õppimiseni inimese tagasisidest (RLHF). See sujuv protsess vähendab nii mudeli arendamiseks vajalikke koolitusaega kui ka arvutuslikke ressursse, aidates veelgi kaasa kulude tõhususele [1] [3].
4. Teadmiste destilleerimine: Deepseek destilleerib edukalt teadmisi suurematest mudelitest väiksemateks, ilma et jõudluse oluliseks halveneb. Näiteks surus see 671B parameetrimudeli 70B üheks, säilitades peaaegu identsed jõudluse. See mudeli suuruse tõhusus võimaldab juurutada vähem võimsal riistvaral, vastavusse COTS -i strateegiaga ja vähendades tegevuskulusid [1] [3].
Siiski on ka teateid, mis viitavad sellele, et Deepseeki tegelik riistvara investeering võib olla olulisem, kui algselt väideti, hinnangul näitavad GPU -dele olulisi kulutusi [4]. Vaatamata sellele on ettevõtte lähenemisviis kulutõhusa riistvara võimendamiseks ja tarkvara tõhususe optimeerimiseks selle kulutõhususe võtmeteguriks võrreldes konkurentidega nagu OpenAi [2] [3].
Üldiselt positsioneerib Deepseeki COTS-i riistvara koos uuenduslike tarkvara optimeerimistega seda kulutõhusa AI arendamise juhina, pakkudes AI maastikul nii rahalisi kui ka strateegilisi eeliseid [2] [3].
Tsitaadid:
]
]
[3] https://www.chitika.com/deepseek-enterprise-implications/
]
]
]
]
[8] https://www.byteplus.com/en/topic/382891
]
]