Deepseek, în special modelul Deepseek-R1-Distill-QWEN-32B, s-a confruntat cu provocări specifice atunci când se ocupă de variante ale întrebărilor AIME 1. Aceste provocări se învârt în primul rând în jurul capacității modelului de a generaliza și aplica raționament logic la scenarii de probleme modificate.
1.. Drop-off-off: Modelul a excelat în furnizarea de răspunsuri exacte la întrebările originale AIME 1 pe baza datelor de testare. Cu toate acestea, atunci când s -a confruntat cu variante ale acestor întrebări în care valorile au fost modificate, performanța sa a scăzut semnificativ. Acest lucru indică faptul că, în timp ce Deepseek-R1-Distill-QWEN-32B este priceput în memorarea și aplicarea soluțiilor cunoscute, se luptă cu adaptarea la setările de probleme noi sau modificate [1].
2. Limitări de raționament logic: Incapacitatea modelului de a raționa eficient cu privire la modificările parametrilor problemei sugerează limitări ale capacităților sale de raționament logic. Spre deosebire de solverii umani care pot generaliza de multe ori soluțiile bazate pe înțelegerea principiilor de bază, modelele Deepseek se pot baza mai mult pe recunoașterea și memorarea modelului. Acest lucru le face mai puțin eficiente la gestionarea scenariilor de probleme noi sau ușor modificate [1].
3. Lipsa de perspectivă asupra rațiunii: fără o perspectivă asupra rațiunii din spatele schimbărilor valorilor sau a structurilor cu probleme, devine dificilă evaluarea și îmbunătățirea performanței modelului cu exactitate. Acest lucru evidențiază necesitatea de modele AI mai transparente și explicabile, care pot oferi informații despre procesele lor de luare a deciziilor [1].
4. Provocări de generalizare: Modelele Deepseek, la fel ca multe sisteme AI, se confruntă cu provocări în generalizarea cunoștințelor lor în contexte noi. Acest lucru este evident în special în competițiile matematice, unde problemele necesită adesea nu doar memorarea, ci și capacitatea de a aplica principiile în moduri inedite. Îmbunătățirea acestui aspect ar implica îmbunătățirea capacității modelului de a înțelege conceptele matematice care stau la baza, mai degrabă decât doar recunoașterea tiparelor [3].
În rezumat, provocările lui Deepseek cu variantele AIME 1 provin din dependența sa de memorare și recunoaștere a modelului, ceea ce limitează capacitatea sa de a generaliza și de a aplica raționamentul logic la scenariile cu probleme modificate. Abordarea acestor provocări va necesita progrese în înțelegerea și aplicarea modelului de către model a principiilor matematice.
Citări:
[1] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[2] https://wescarroll.com/aime-math-cupetition-tips/
[3] https://www.linkedin.com/pulse/deepseek-revolutioning-AI-Open-Source-Reasoning-20-Ramachandran-xakme
[4] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[5] https://artofproblemsolving.com/wiki/index.php/2024_aime_i_problems
]
[7] https://www.turtlesai.com/en/pages-2142/deepseek-challenges-openai-with-r1-measoning-model
[8] https://web.evanchen.cc/mockaime.html