Lai palaistu DeepSeEK modeļus lokāli, sistēmas prasības ievērojami atšķiras atkarībā no modeļa lieluma un izmantotajām kvantēšanas metodēm. Šeit ir galvenās specifikācijas, kas jāņem vērā:
GPU prasības **
- Modeļa lielums: VRAM prasības palielinās līdz ar modeļa lielumu. Piemēram:- 7b modelis: aptuveni 16 GB VRAM (FP16) vai 4 GB (4 bitu kvantēšana).
- 16B modelis: aptuveni 37 GB VRAM (FP16) vai 9 GB (4 bitu kvantēšana).
- 67B modelis: apmēram 154 GB VRAM (FP16) vai 38 GB (4 bitu kvantēšana).
- 236B modelis: nepieciešams apmēram 543 GB VRAM (FP16) vai 136 GB (4 bitu kvantēšana).
- 671B modelis: nepieciešams aptuveni 1543 GB VRAM (FP16) vai 386 GB (4 bitu kvantēšana) [1] [3].
- Ieteicamais GPU:
- Mazākiem modeļiem, piemēram, 7b un 16b, ir piemēroti patērētāju GPU, piemēram, NVIDIA RTX 4090.
-lielākiem modeļiem, īpaši tiem, kas pārsniedz 100 miljardus parametru, parasti ir nepieciešami datu centra GPU, piemēram, NVIDIA H100 vai vairāki augstas klases patērētāju GPU sadalītā iestatījumā [1] [3].
CPU un RAM prasības **
- Kaut arī īpašas CPU prasības var atšķirties, aprēķina slodzi efektīvi ieteicams veikt jaudīgu daudzkodolu procesoru. Piemēram, ir ziņots, ka Dual EPYC CPU ar ievērojamām RAM konfigurācijām darbojas labi [7].- RAM: Lai efektīvi palaistu lielākus modeļus, ir ieteicams vismaz 64 GB, it īpaši, ja tiek izmantots liels parametru skaits, kas prasa ievērojamu atmiņu virs galvas [4] [6].
uzglabāšanas prasības **
- Lai pielāgotos modeļa failiem, un visiem papildu datiem, kas nepieciešami apstrādei, ir nepieciešama pietiekama vieta diskā. Atkarībā no modeļa lieluma tas varētu svārstīties no desmitiem līdz simtiem gigabaitu.optimizācijas paņēmieni **
- Izmantojot zemākas precizitātes formātus, piemēram, FP16 vai Int8, var palīdzēt samazināt VRAM patēriņu, būtiski neietekmējot veiktspēju.- Tādas metodes kā partijas izmēru samazināšana var arī samazināt atmiņas izmantošanu, bet var ietekmēt caurlaidspēju [1] [3].
Rezumējot, DeepSeEK modeļu palaišanai lokāli ir rūpīgi jāizvērtē GPU iespējas, CPU jauda, RAM ietilpība un glabāšanas vieta saskaņā ar konkrēto modeli, kuru plānojat izvietot.
Atsauces:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-depseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-depseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-deepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-depseek-r1-locally-full-guide-my-honest-review-of-this-free-openai-alternative/