Pro spuštění modelů DeepSeek lokálně se požadavky systému výrazně liší v závislosti na velikosti modelu a použitých kvantizačních technik. Zde jsou klíčové specifikace, které je třeba zvážit:
Požadavky GPU **
- Velikost modelu: Požadavky VRAM se zvyšují s velikostí modelu. Například:- 7b Model: Přibližně 16 GB VRAM (FP16) nebo 4 GB (4bitová kvantizace).
- 16b Model: Přibližně 37 GB VRAM (FP16) nebo 9 GB (4bitová kvantizace).
- 67b Model: Asi 154 GB VRAM (FP16) nebo 38 GB (4bitová kvantizace).
- 236b Model: Vyžaduje přibližně 543 GB VRAM (FP16) nebo 136 GB (4bitová kvantizace).
- 671b Model: Potřebuje přibližně 1 543 GB VRAM (FP16) nebo 386 GB (4bitová kvantizace) [1] [3].
- Doporučené GPU:
- U menších modelů, jako jsou 7B a 16B, jsou vhodné spotřebitelské GPU, jako je NVIDIA RTX 4090.
-Větší modely, zejména ty nad 100 miliardami parametrů, obvykle vyžadují GPU datového centra, jako jsou NVIDIA H100 nebo více špičkových spotřebitelských GPU v distribuovaném nastavení [1] [3].
Požadavky CPU a RAM **
- Zatímco specifické požadavky CPU se mohou lišit, doporučuje se výkonný vícejádrový procesor pro efektivní zpracování výpočetního zatížení. Bylo například hlášeno, že duální procesory EPYC s podstatnými konfiguracemi RAM fungují dobře [7].- RAM: Pro efektivní provoz větších modelů je vhodné minimálně 64 GB, zejména při použití vysokého počtu parametrů, které vyžadují významnou režii paměti [4] [6].
Požadavky na skladování **
- Pro přizpůsobení souborů modelu a všech dalších dat potřebných pro zpracování je nutný dostatek místa na disku. V závislosti na velikosti modelu by se to mohlo pohybovat od desítek po stovky gigabajtů.Techniky optimalizace **
- Využití formátů nižších přesností, jako je FP16 nebo INT8, může pomoci snížit spotřebu VRAM bez výrazného dopadu na výkon.- Techniky, jako je zmenšení velikosti šarží, mohou také snížit využití paměti, ale mohou ovlivnit propustnost [1] [3].
Stručně řečeno, spuštění modelů DeepSeek lokálně vyžaduje pečlivé zvážení schopností GPU, výkon CPU, kapacitu RAM a úložný prostor podle konkrétního modelu, který chcete nasadit.
Citace:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-modell
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-deepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-Full-Guide-MY-HONEST-Review-of-Tos-free-openai-alternative/