DeepSeek, un nuovo modello di linguaggio di grandi dimensioni (LLM), mette in mostra significativi vantaggi nell'uso delle risorse computazionali rispetto ad altri modelli come GPT-4 e Claude Sonnet 3.5.
Attivazione del parametro efficiente
DeepSeek impiega un'architettura di miscela di esperti (MOE), il che significa che su un totale di 671 miliardi di parametri, solo 37 miliardi sono attivati per ogni compito. Questa attivazione selettiva consente a DeepEek di mantenere alte prestazioni riducendo drasticamente i costi computazionali. In confronto, i modelli tradizionali spesso utilizzano tutti i loro parametri per ciascuna attività, portando a un maggiore consumo di risorse [1] [2].Efficienza di allenamento
La formazione di DeepSeek-V3 ha richiesto circa 2,788 milioni di ore GPU utilizzando i chip Nvidia H800, traducendo in costi di circa $ 5,576 milioni. Ciò è notevolmente basso rispetto ad altri modelli principali, che possono sostenere costi dieci volte più alti per compiti di formazione simili [3] [7]. L'efficienza deriva da algoritmi ottimizzati e co-progettazione hardware che minimizzano le spese generali durante l'allenamento, rendendolo un'opzione economica per gli sviluppatori [4].Metriche per le prestazioni
Nonostante il suo efficiente utilizzo delle risorse, DeepSeek si esibisce in modo impressionante su vari parametri di riferimento. Ad esempio, ha segnato il 73,78% su Humanival per le attività di codifica e l'84,1% su GSM8K per la risoluzione dei problemi, sovraperformando molti concorrenti consumando meno risorse [1] [4]. Questa prestazione si ottiene con meno del 6% dei suoi parametri attivi in qualsiasi momento, mettendo in mostra la sua capacità di fornire output di alta qualità senza le estese esigenze computazionali tipiche di altri LLM.Gestione del contesto
DeepSeek eccelle anche nella gestione di finestre a contesto lungo, supportando fino a 128k token, che è significativamente più di molti altri modelli che in genere gestiscono tra 32k e 64k token. Questa capacità migliora la sua utilità in compiti complessi come la generazione di codice e l'analisi dei dati [1].Conclusione
In sintesi, l'uso innovativo di Deepseek dell'architettura MOE gli consente di attivare solo una frazione dei suoi parametri durante le attività, con conseguente notevole risparmio di risorse e costi computazionali. Il suo processo di formazione efficiente e le metriche di prestazioni forti lo posizionano come un formidabile concorrente nel panorama di modelli linguistici di grandi dimensioni, in particolare per le applicazioni che richiedono sia efficienza che alte prestazioni.Citazioni:
[1] https://daily.dev/blog/deepseek-everything-you-need-to-know-know-about-this-new-lllm-in-one-place
[2] https://blog.spheron.network/why-deepseek-v3-is-the-llm-everyones-talking-about
[3] https://stratechery.com/2025/deepseek-faq/
[4] https://arxiv.org/html/2412.19437v1
[5] https://seo.ai/blog/deepseek-ai-statistics-and-facts
[6] https://www.linkedin.com/pulse/comparing-deepseek-r1-openai-o1-which --model-comes-out-pablo-8wtxf
[7] https://www.reuters.com/technology/artificial-intelligence/what-is-deepseek-why-is-it-disrupting-ai-sector-2025-01-27/
[8] https://adasci.org/deepseek-v3-explained-optimizing-efficiency-and-scale/