Чтобы запустить модели DeepSeek локально, системные требования значительно различаются в зависимости от размера модели и используемых методов квантования. Вот ключевые спецификации, которые следует рассмотреть:
Требования графического процессора **
- Размер модели: требования VRAM увеличиваются с размером модели. Например:- Модель 7B: приблизительно 16 ГБ VRAM (FP16) или 4 ГБ (4-битное квантование).
- Модель 16B: около 37 ГБ VRAM (FP16) или 9 ГБ (4-битное квантование).
- Модель 67B: около 154 ГБ VRAM (FP16) или 38 ГБ (4-битное квантование).
- Модель 236B: требуется около 543 ГБ VRAM (FP16) или 136 ГБ (4-битное квантование).
- 671B Модель: требует приблизительно 1543 ГБ VRAM (FP16) или 386 ГБ (4-битная квантования) [1] [3].
- Рекомендуемые графические процессоры:
- Для небольших моделей, таких как 7b и 16b, подходящие потребительские графические процессоры, такие как Nvidia RTX 4090.
-Большие модели, особенно более 100 миллиардов параметров, обычно требуют графических процессоров центра обработки данных, таких как NVIDIA H100 или несколько высококачественных потребительских графических процессоров в распределенной настройке [1] [3].
требования процессора и оперативной памяти **
- Хотя конкретные требования процессора могут варьироваться, рекомендуется мощный многоъядерный процессор для эффективной обработки вычислительной нагрузки. Например, сообщалось, что Dual Epyc -процессоры со значительными конфигурациями ОЗУ работают хорошо [7].- ОЗУ: минимум 64 ГБ рекомендуется для эффективного выполнения более крупных моделей, особенно при использовании высокого количества параметров, которые требуют значительных накладных расходов памяти [4] [6].
Требования к хранению **
- Достаточное количество дискового пространства необходимо для размещения модельных файлов и любых дополнительных данных, необходимых для обработки. В зависимости от размера модели это может варьироваться от десятков до сотен гигабайт.Методы оптимизации **
- Использование более низких форматов точности, таких как FP16 или Int8, может помочь снизить потребление VRAM без значительного влияния на производительность.- Такие методы, как уменьшение размеров партий, также могут уменьшить использование памяти, но могут влиять на пропускную способность [1] [3].
Таким образом, запуск моделей DeepSeek локально требует тщательного рассмотрения возможностей графических процессоров, мощности процессора, емкости ОЗУ и места для хранения в соответствии с конкретной моделью, которую вы намереваетесь развернуть.
Цитаты:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-deepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-full-guide-my-honest-review-of-fe-free-openai-alternative/