Per eseguire modelli DeepSeek a livello locale, i requisiti di sistema variano in modo significativo in base alla dimensione del modello e alle tecniche di quantizzazione utilizzate. Ecco le specifiche chiave da considerare:
Requisiti GPU
**
- Dimensione del modello: i requisiti VRAM aumentano con la dimensione del modello. Per esempio:- Modello 7B: circa 16 GB VRAM (FP16) o 4 GB (quantizzazione a 4 bit).
- Modello 16B: circa 37 GB VRAM (FP16) o 9 GB (quantizzazione a 4 bit).
- Modello 67b: circa 154 GB VRAM (FP16) o 38 GB (quantizzazione a 4 bit).
- Modello 236B: richiede circa 543 GB VRAM (FP16) o 136 GB (quantizzazione a 4 bit).
- Modello 671b: necessita di circa 1.543 GB VRAM (FP16) o 386 GB (quantizzazione a 4 bit) [1] [3].
- GPU consigliate:
- Per modelli più piccoli come 7B e 16B, le GPU di consumo come Nvidia RTX 4090 sono adatte.
-Modelli più grandi, in particolare quelli di oltre 100 miliardi di parametri, richiedono in genere GPU di livello del data center come NVIDIA H100 o GPU di consumo di fascia alta multipla in una configurazione distribuita [1] [3].
CPU e RAM **
- Sebbene i requisiti specifici della CPU possano variare, si consiglia un potente processore multi-core per gestire efficacemente il carico computazionale. Ad esempio, sono stati segnalati duali CPU EPYC con sostanziali configurazioni di RAM funzionano bene [7].- RAM: è consigliabile un minimo di 64 GB per l'esecuzione in modo efficiente modelli, specialmente quando si utilizzano conteggi di parametri elevati che richiedono un significativo sovraccarico di memoria [4] [6].
Requisiti di archiviazione
**
- È necessario uno spazio sufficiente sufficiente per adattarsi ai file del modello e a eventuali dati aggiuntivi richiesti per l'elaborazione. A seconda della dimensione del modello, questo potrebbe variare da decine a centinaia di gigabyte.tecniche di ottimizzazione **
- L'utilizzo di formati di precisione più bassi come FP16 o INT8 può aiutare a ridurre il consumo di VRAM senza influire significativamente sulle prestazioni.- Le tecniche come la riduzione delle dimensioni dei batch possono anche ridurre l'utilizzo della memoria ma possono influire sulla throughput [1] [3].
In sintesi, l'esecuzione di modelli DeepSeek richiede localmente un'attenta considerazione delle capacità GPU, della potenza della CPU, della capacità della RAM e dello spazio di archiviazione secondo il modello specifico che intendi distribuire.
Citazioni:[1] https://www.proxpc.com/blogs/gpu-hardware-requirements-guide-for-deepseek-models-in-2025
[2] https://www.reddit.com/r/selfhosted/comments/1i6ggyh/got_deepseek_r1_running_locally_full_setup_guide/
[3] https://apxml.com/posts/system-requirements-deepseek-models
[4] https://huggingface.co/deepseek-ai/deepseek-v3-base/discussions/56
[5] https://apxml.com/posts/gpu-requirements-deepseek-r1
[6] https://stackoverflow.com/questions/78697403/system-requirements-for-thedeepseek-coder-v2-instruct/78825493
[7] https://huggingface.co/deepseek-ai/deepseek-r1/discussions/19
[8] https://digialps.com/run-deepseek-locally-a-full-guide-my-honest-review-of-this free-openai-alternative/