Deepseek modellerini yerel olarak çalıştırmak için, sistem gereksinimleri model boyutuna ve kullanılan nicemleme tekniklerine göre önemli ölçüde değişir. Dikkate alınması gereken temel özellikler:
GPU Gereksinimleri **
- Model boyutu: VRAM gereksinimleri model boyutu ile artar. Örneğin:- 7B Model: Yaklaşık 16 GB VRAM (FP16) veya 4 GB (4 bit nicemleme).
- 16B Model: Yaklaşık 37 GB VRAM (FP16) veya 9 GB (4 bit nicemleme).
- 67B Model: Yaklaşık 154 GB VRAM (FP16) veya 38 GB (4 bit nicemleme).
- 236B Model: Yaklaşık 543 GB VRAM (FP16) veya 136 GB (4 bit nicemleme) gerektirir.
- 671b Model: Yaklaşık 1.543 GB VRAM (FP16) veya 386 GB (4 bit nicemleme) [1] [3] 'e ihtiyaç vardır.
- Önerilen GPU'lar:
- 7b ve 16b gibi daha küçük modeller için NVIDIA RTX 4090 gibi tüketici GPU'ları uygundur.
-Daha büyük modeller, özellikle 100 milyardan fazla parametre, tipik olarak NVIDIA H100 gibi veri merkezi sınıfı GPU'lar veya dağıtılmış bir kurulumda birden fazla üst düzey tüketici GPU'su gerektirir [1] [3].
CPU ve RAM Gereksinimleri **
- Belirli CPU gereksinimleri değişebilirken, hesaplama yükünü etkili bir şekilde işlemek için güçlü bir çok çekirdekli işlemci önerilir. Örneğin, önemli RAM konfigürasyonlarına sahip çift EPYC CPU'ların iyi performans gösterdiği bildirilmiştir [7].- RAM: Özellikle önemli bellek yükü gerektiren yüksek parametre sayıları kullanıldığında, daha büyük modelleri verimli bir şekilde çalıştırmak için minimum 64 GB tavsiye edilir [4] [6].
Depolama Gereksinimleri **
- Model dosyalarını ve işleme için gereken ek verileri barındırmak için yeterli disk alanı gereklidir. Model boyutuna bağlı olarak, bu onlar arasında yüzlerce gigabayt arasında değişebilir.Optimizasyon Teknikleri **
- FP16 veya Int8 gibi daha düşük hassasiyetli formatların kullanılması, performansı önemli ölçüde etkilemeden VRAM tüketimini azaltmaya yardımcı olabilir.- Parti boyutlarının azaltılması gibi teknikler de bellek kullanımını azaltabilir, ancak verimi etkileyebilir [1] [3].
Özetle, Deepseek modellerini yerel olarak çalıştırmak, dağıtmak istediğiniz belirli modele göre GPU yetenekleri, CPU gücü, RAM kapasitesi ve depolama alanını dikkatli bir şekilde değerlendirmeyi gerektirir.
Alıntılar:[1] https://www.proxpc.com/blogs/gpu-hardware-equirements-guide-for-depseek-models-in-2025
[2] https://www.reddit.com/r/elfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-equirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-equirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-equirements-for-teepseek-doder-v2-intruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-full-guide-my-honest-review-fon-this-free-openai-alternative/