Il modello R1 di Deepseek dimostra forti prestazioni sul benchmark American Invitational Mathematics Examination (AIME), che è una prestigiosa competizione di matematica per gli studenti delle scuole superiori. Ecco un confronto dettagliato delle prestazioni di DeepSeek R1 con altri modelli AI su AIME:
1. DeepSeek R1 vs. Openai O1: Deepseek R1 ha mostrato risultati competitivi su AIME, con un punteggio del 79,8% su AIME 2024, leggermente più avanti di Openai O1-1217 al 79,2% [9]. Tuttavia, Openai O1 ha ottenuto un punteggio più elevato del 96,7% in un altro confronto, indicando la variabilità nelle metriche delle prestazioni o nelle versioni dei modelli utilizzati [8]. DeepSeek R1-Zero, un modello precursore, ha segnato il 71,0% su AIME 2024, che è leggermente al di sotto di OpenAI O1-0912 ma sopra O1-Mini [1].
2. Confronto con altri modelli: in un confronto più ampio, Deepseek R1 ha funzionato bene ma non è stato il capocannoniere. Ad esempio, Openi O3 Mini ha preso il primo posto con una precisione dell'86,5% su AIME, seguita da DeepSeek R1 e O1 [2]. Ciò suggerisce che mentre DeepEek R1 è competitivo, potrebbe non sempre sovraperformare gli ultimi modelli come O3 Mini.
3. Variabilità delle prestazioni: le prestazioni dei modelli AI su AIME possono variare in modo significativo a seconda della versione specifica del test. Ad esempio, i modelli hanno ottenuto generalmente meglio le domande AIME 2024 più vecchie rispetto alle nuove domande AIME 2025, probabilmente a causa dell'inclusione delle domande precedenti nei loro dati di allenamento [2].
4. Capacità di ragionamento: la forte prestazione di Deepseek R1 su AIME è attribuita alle sue capacità di ragionamento avanzate, che gli consentono di affrontare efficacemente complessi problemi matematici. Tuttavia, le sue prestazioni possono diminuire di fronte a varianti di domande che richiedono un ragionamento logico più profondo [7].
Nel complesso, DeepSeek R1 dimostra prestazioni robuste su AIME, in competizione a stretto contatto con altri migliori modelli come Openai O1, sebbene potrebbe non condurre sempre in ogni confronto. La sua natura open source e l'efficienza dei costi lo rendono una scelta attraente per gli sviluppatori che desiderano sfruttare le capacità di ragionamento avanzate in matematica.
Citazioni:
[1] https://www.prompthub.us/blog/deepseek-1-model-overview-and-how-it-larks-against-openais-o1
[2] https://www.vals.ai/benchmarks/aime-2025-03-11
[3] https://www.vellum.ai/blog/analysis-openai-o1-vs-deepseek-r1
[4] https://artificialalanysis.ai/models/deepseek-r1
[5] https://techcrunch.com/2025/01/27/deepseek-claims-its-reasoning-model-beats-openais-o1-on-cercenchmarks/
[6] https://www.byteplus.com/en/topic/386612
[7] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[8] https://www.techloy.com/deepseek-r1-v-openai-o1-which-aai-model-is-better/
[9] https://www.datacamp.com/blog/deepseek-r1