깊은 모델을 로컬로 실행하려면 시스템 요구 사항은 모델 크기와 사용 된 양자화 기술에 따라 크게 다릅니다. 고려해야 할 주요 사양은 다음과 같습니다.
GPU 요구 사항 **
- 모델 크기 : VRAM 요구 사항은 모델 크기에 따라 증가합니다. 예를 들어:-7B 모델 : 약 16GB VRAM (FP16) 또는 4GB (4 비트 양자화).
-16B 모델 : 약 37GB VRAM (FP16) 또는 9GB (4 비트 양자화).
-67B 모델 : 약 154GB VRAM (FP16) 또는 38GB (4 비트 양자화).
-236B 모델 : 약 543GB VRAM (FP16) 또는 136GB (4 비트 양자화)가 필요합니다.
-671B 모델 : 약 1,543GB VRAM (FP16) 또는 386GB (4 비트 양자화) [1] [3]가 필요합니다.
- 권장 GPU :
-7B 및 16B와 같은 소규모 모델의 경우 NVIDIA RTX 4090과 같은 소비자 GPU가 적합합니다.
-대형 모델, 특히 100 억 개가 넘는 매개 변수는 일반적으로 분산 설정에서 NVIDIA H100 또는 다중 고급 소비자 GPU와 같은 데이터 센터 등급 GPU가 필요합니다 [1] [3].
CPU 및 RAM 요구 사항 **
- 특정 CPU 요구 사항이 다를 수 있지만 계산 부하를 효과적으로 처리하기 위해 강력한 멀티 코어 프로세서가 권장됩니다. 예를 들어, 실질적인 RAM 구성을 갖는 이중 EPYC CPU는 잘 수행되는 것으로보고되었다 [7].-RAM : 더 큰 모델을 효율적으로 실행하는 데 최소 64GB가 권장됩니다. 특히 중요한 메모리 오버 헤드가 필요한 높은 매개 변수 수를 사용할 때 [4] [6].
스토리지 요구 사항 **
- 모델 파일과 처리에 필요한 추가 데이터를 수용하려면 충분한 디스크 공간이 필요합니다. 모델 크기에 따라, 이것은 수십에서 수백 개의 기가 바이트 범위에이를 수 있습니다.최적화 기술 **
-FP16 또는 INT8과 같은 정밀 형식을 사용하면 성능에 크게 영향을 미치지 않으면 서 VRAM 소비를 줄이는 데 도움이 될 수 있습니다.- 배치 크기 감소와 같은 기술은 메모리 사용량을 줄일 수 있지만 처리량에 영향을 줄 수 있습니다 [1] [3].
요약하면, DeepSeek 모델을 로컬로 실행하려면 GPU 기능, CPU 전력, RAM 용량 및 배포하려는 특정 모델에 따라 저장 공간을 신중하게 고려해야합니다.
인용 :[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-the-deepseek-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-full-guide-my-honest-review-of-sfee-openai-alternative/