Pour exécuter les modèles Deepseek localement, les exigences du système varient considérablement en fonction de la taille du modèle et des techniques de quantification utilisées. Voici les spécifications clés à considérer:
Exigences GPU **
- Taille du modèle: les exigences VRAM augmentent avec la taille du modèle. Par exemple:- Modèle 7b: environ 16 Go de VRAM (FP16) ou 4 Go (quantification 4 bits).
- Modèle 16b: environ 37 Go de VRAM (FP16) ou 9 Go (quantification 4 bits).
- Modèle 67b: environ 154 Go de VRAM (FP16) ou 38 Go (quantification 4 bits).
- Modèle 236b: nécessite environ 543 Go de VRAM (FP16) ou 136 Go (quantification 4 bits).
- Modèle 671B: nécessite environ 1 543 Go de VRAM (FP16) ou 386 Go (quantification 4 bits) [1] [3].
- GPU recommandé:
- Pour les modèles plus petits comme les 7b et 16b, les GPU grand public tels que le NVIDIA RTX 4090 conviennent.
- Les modèles plus grands, en particulier ceux de plus de 100 milliards de paramètres, nécessitent généralement des GPU de qualité centrale comme le NVIDIA H100 ou plusieurs GPU grand public haut de gamme dans une configuration distribuée [1] [3].
exigences du processeur et de la RAM **
- Bien que les exigences spécifiques du CPU puissent varier, un puissant processeur multi-core est recommandé pour gérer efficacement la charge de calcul. Par exemple, des processeurs EPYC double avec des configurations RAM substantielles auraient bien fonctionné [7].- RAM: un minimum de 64 Go est conseillé pour exécuter efficacement des modèles plus grands, en particulier lors de l'utilisation de comptes de paramètres élevés qui exigent des frais généraux de mémoire significatifs [4] [6].
Exigences de stockage **
- Un espace disque suffisant est nécessaire pour s'adapter aux fichiers du modèle et à toutes les données supplémentaires requises pour le traitement. Selon la taille du modèle, cela pourrait aller de dizaines à des centaines de gigaoctets.Techniques d'optimisation **
- L'utilisation de formats de précision inférieurs comme FP16 ou INT8 peut aider à réduire la consommation de VRAM sans avoir un impact significatif sur les performances.- Des techniques telles que la réduction des tailles de lots peuvent également diminuer l'utilisation de la mémoire mais peuvent affecter le débit [1] [3].
En résumé, l'exécution des modèles Deepseek localement nécessite une attention particulière des capacités du GPU, de la puissance du processeur, de la capacité RAM et de l'espace de stockage en fonction du modèle spécifique que vous avez l'intention de déployer.
Citations:[1] https://www.proxpc.com/blogs/gpu-hardware-requiments-guide-for-deepseek-models-ing-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requiments-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requiments-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requiments-for-the-deepseek-coder-v2-struct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-r1-locally-a-full-guide-my-honest-review-of-this-libre-openai-alternative/