Aby uruchomić modele DeepSeek lokalnie, wymagania systemowe różnią się znacznie w zależności od wielkości modelu i zastosowanych technik kwantyzacji. Oto kluczowe specyfikacje do rozważenia:
Wymagania GPU **
- Rozmiar modelu: Wymagania VRAM rosną wraz z wielkością modelu. Na przykład:- Model 7b: około 16 GB VRAM (FP16) lub 4 GB (kwantyzacja 4-bitowa).
- Model 16b: około 37 GB VRAM (FP16) lub 9 GB (4-bitowa kwantyzacja).
- Model 67b: około 154 GB VRAM (FP16) lub 38 GB (kwantyzacja 4-bitowa).
- Model 236b: wymaga około 543 GB VRAM (FP16) lub 136 GB (kwantyzacja 4-bitowa).
- Model 671b: potrzebuje około 1543 GB VRAM (FP16) lub 386 GB (kwantyzacja 4-bitowa) [1] [3].
- Zalecany GPU:
- W przypadku mniejszych modeli, takich jak 7B i 16B, odpowiednie są procesory graficzne konsumenckie, takie jak NVIDIA RTX 4090.
-Większe modele, szczególnie te ponad 100 miliardów parametrów, zazwyczaj wymagają procesorów GPU klasy centralnej, takich jak NVIDIA H100 lub wiele wysokiej klasy procesorów graficznych konsumenckich w rozproszonej konfiguracji [1] [3].
Wymagania dotyczące procesora i pamięci RAM **
- Chociaż określone wymagania procesora mogą się różnić, zaleca się potężny procesor wielordzeniowy do skutecznego obsługi obciążenia obliczeniowego. Na przykład zgłoszono, że podwójne procesory EPYC ze znacznymi konfiguracją pamięci RAM działają dobrze [7].- RAM: Minimum 64 GB jest wskazane do efektywnego uruchamiania większych modeli, szczególnie przy użyciu wysokiej liczby parametrów, które wymagają znacznego przekroczenia pamięci [4] [6].
Wymagania dotyczące przechowywania **
- Wystarczająca ilość miejsca na dysku jest niezbędna, aby pomieścić pliki modelu i wszelkie dodatkowe dane wymagane do przetwarzania. W zależności od wielkości modelu może to wahać się od dziesiątek do setek gigabajtów.Techniki optymalizacji **
- Wykorzystanie niższych formatów precyzyjnych, takich jak FP16 lub INT8, może pomóc zmniejszyć zużycie VRAM bez znaczącego wpływu na wydajność.- Techniki takie jak zmniejszenie wielkości partii mogą również zmniejszyć zużycie pamięci, ale mogą wpływać na przepustowość [1] [3].
Podsumowując, lokalne uruchamianie modeli DeepSeek wymaga starannego rozważenia możliwości GPU, zasilania procesora, pojemności pamięci RAM i miejsca do przechowywania zgodnie z konkretnym modelem, który zamierzasz wdrożyć.
Cytaty:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-deepseek-koder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussion/19
[8] https://digialps.com/run-deepseek-r1-locally-a-full-guide-my-honest-review-this-free-openai-alternative/