Ak chcete lokálne prevádzkovať modely DeepSeek, systémové požiadavky sa výrazne líšia v závislosti od veľkosti modelu a použitých kvantizačných techník. Tu sú kľúčové špecifikácie, ktoré je potrebné zvážiť:
GPU Požiadavky **
- Veľkosť modelu: Požiadavky VRAM sa zvyšujú s veľkosťou modelu. Napríklad:- 7B Model: približne 16 GB VRAM (FP16) alebo 4 GB (4-bit kvantizácia).
- 16B Model: okolo 37 GB VRAM (FP16) alebo 9 GB (4-bit kvantizácia).
- 67B Model: asi 154 GB VRAM (FP16) alebo 38 GB (4-bit kvantizácia).
- Model 236b: Vyžaduje okolo 543 GB VRAM (FP16) alebo 136 GB (4-bit kvantizácia).
- 671b Model: Potrebuje približne 1 543 GB VRAM (FP16) alebo 386 GB (4-bit kvantizácia) [1] [3].
- Odporúčané GPU:
- Pre menšie modely, ako sú 7B a 16B, sú vhodné spotrebiteľské GPU, ako napríklad NVIDIA RTX 4090.
-Väčšie modely, najmä tie, ktoré sú viac ako 100 miliárd parametrov, zvyčajne vyžadujú GPU dátového centra, ako je NVIDIA H100 alebo viacero špičkových spotrebiteľských GPU v distribuovanom nastavení [1] [3].
CPU a RAM požiadavky **
- Zatiaľ čo konkrétne požiadavky CPU sa môžu meniť, odporúča sa výkonný viacjadrový procesor na efektívne zvládnutie výpočtového zaťaženia. Napríklad boli hlásené, že dvojité CPU EPYC s podstatnými konfiguráciami RAM fungujú dobre [7].- RAM: Odporúča sa minimálne 64 GB pre efektívne prevádzkovanie väčších modelov, najmä pri použití vysokých počtov parametrov, ktoré si vyžadujú významnú pamäťovú režijnú pamäť [4] [6].
Požiadavky na úložisko **
- Na prispôsobenie modelových súborov a akékoľvek ďalšie údaje potrebné na spracovanie je potrebný dostatočný priestor na disk. V závislosti od veľkosti modelu by sa to mohlo pohybovať od desiatok po stovky gigabajtov.Optimalizačné techniky **
- Využitie formátov s nižšou presnosťou, ako je FP16 alebo INT8, môže pomôcť znížiť spotrebu VRAM bez výrazného ovplyvnenia výkonu.- Techniky, ako je zníženie veľkosti dávok, môžu tiež znížiť využitie pamäte, ale môžu ovplyvniť priepustnosť [1] [3].
Stručne povedané, prevádzkovanie modelov DeepSeek lokálne si vyžaduje dôkladné zváženie schopností GPU, výkonu CPU, kapacity RAM a úložného priestoru podľa konkrétneho modelu, ktorý chcete nasadiť.
Citácie:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-thedeepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-rlocally-a-full-guide-monest-review-of-f-free-openai-alternative/