Za lokalno vodenje modelov Deepseek se sistemske zahteve bistveno razlikujejo glede na velikost modela in uporabljene kvantizacijske tehnike. Tu so ključne specifikacije, ki jih je treba upoštevati:
Zahteve GPU **
- Velikost modela: Zahteve VRAM se povečajo z velikostjo modela. Na primer:- 7B model: približno 16 GB VRAM (FP16) ali 4 GB (4-bitna kvantizacija).
- 16B model: približno 37 GB VRAM (FP16) ali 9 GB (4-bitna kvantizacija).
- 67B model: približno 154 GB VRAM (FP16) ali 38 GB (4-bitna kvantizacija).
- 236b model: zahteva približno 543 GB VRAM (FP16) ali 136 GB (4-bitna kvantizacija).
- 671b model: Potrebuje približno 1.543 GB VRAM (FP16) ali 386 GB (4-bitna kvantizacija) [1] [3].
- Priporočeni GPU:
- Pri manjših modelih, kot sta 7B in 16B, so potrošniški GPU, kot je NVIDIA RTX 4090, primerni.
-Večji modeli, zlasti tisti več kot 100 milijard parametrov, običajno potrebujejo GPU-je za podatkovne centre, kot je NVIDIA H100 ali več vrhunskih potrošniških GPU-jev v porazdeljeni nastavitvi [1] [3].
Zahteve CPU in RAM **
- Medtem ko se lahko posebne zahteve CPU spreminjajo, se priporoča močan večjedrni procesor za učinkovito ravnanje z računsko obremenitvijo. Na primer, Dvojni EPYC CPU -ji z velikimi konfiguracijami RAM -a so bili dobro delujoči [7].- RAM: Za učinkovito izvajanje večjih modelov je priporočljivo najmanj 64 GB, še posebej pri uporabi visokega števila parametrov, ki zahtevajo pomemben pomnilnik [4] [6].
Zahteve za shranjevanje **
- Za namestitev modelnih datotek in morebitnih dodatnih podatkov, potrebnih za obdelavo, je potreben dovolj prostora na disku. Glede na velikost modela bi to lahko trajalo od desetine do sto gigabajtov.Tehnike optimizacije **
- Uporaba nižje natančnosti, kot sta FP16 ali INT8, lahko pomaga zmanjšati porabo VRAM, ne da bi znatno vplivala na uspešnost.- Tehnike, kot je zmanjšanje velikosti serije, lahko tudi zmanjšajo porabo pomnilnika, vendar lahko vplivajo na pretok [1] [3].
Če povzamemo, je za uporabo modelov Deepseek lokalno potrebno natančno upoštevati zmogljivosti GPU, moč CPU -ja, zmogljivost RAM -a in prostor za shranjevanje v skladu s posebnim modelom, ki ga nameravate uporabiti.
Navedbe:[1] https://www.proxpc.com/blogs/gpu-wardware-requirements-guide-for-reepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-meepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-docally-a-full-guide-miy-honest-review-of-this-free-openai-alternative/