Для запуску моделей DeepSeek локально системні вимоги значно відрізняються залежно від розміру моделі та використаних методик квантування. Ось ключові специфікації, які слід врахувати:
вимоги до GPU **
- Розмір моделі: вимоги до VRAM збільшуються з розміром моделі. Наприклад:- Модель 7B: приблизно 16 ГБ VRAM (FP16) або 4 ГБ (4-бітна квантування).
- 16B Модель: близько 37 ГБ VRAM (FP16) або 9 ГБ (4-бітна квантування).
- Модель 67B: близько 154 ГБ VRAM (FP16) або 38 ГБ (4-бітна квантування).
- Модель 236B: Потрібна близько 543 ГБ VRAM (FP16) або 136 ГБ (4-бітна квантування).
- Модель 671B: потрібна приблизно 1543 ГБ VRAM (FP16) або 386 ГБ (4-бітна квантування) [1] [3].
- Рекомендовані графічні процесори:
- Для менших моделей, таких як 7B та 16b, споживчі графічні процесори, такі як NVIDIA RTX 4090, підходять.
-Більш великі моделі, зокрема, більш ніж 100 мільярдів параметрів, як правило, потребують графічних процесорів центру обробки даних, таких як NVIDIA H100 або декілька висококласних графічних процесорів споживачів у розподіленій установці [1] [3].
вимоги до процесора та оперативної пам’яті **
- Хоча конкретні вимоги до процесора можуть змінюватися, рекомендується потужний багатоядерний процесор для ефективного обробки обчислювального навантаження. Наприклад, повідомлялося, що подвійні процесори EPYC зі значними конфігураціями оперативної пам’яті добре працюють [7].- Рам: Мінімум 64 ГБ доцільно для ефективного запуску більших моделей, особливо при використанні високих кількох параметрів, які вимагають значних накладних витрат пам'яті [4] [6].
вимоги до зберігання **
- Для розміщення файлів моделей та будь -яких додаткових даних, необхідних для обробки. Залежно від розміру моделі, це може варіюватися від десятків до сотень гігабайт.методи оптимізації **
- Використання форматів нижчої точності, таких як FP16 або INT8, може допомогти зменшити споживання VRAM, не впливаючи на ефективність.- Такі методи, як зменшення розмірів партії, також можуть зменшити використання пам'яті, але можуть впливати на пропускну здатність [1] [3].
Підводячи підсумок, запуск моделей DeepSeek локально вимагає ретельного розгляду можливостей GPU, потужності процесора, ємності оперативної пам’яті та місця зберігання відповідно до конкретної моделі, яку ви маєте намір розгорнути.
Цитати:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepeek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepeek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirementsfor-the-deepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-full-guide-my-honest-review-of-this-free-openai-alternative/
| ~