Deepseek, zlasti model Deepseek-R1-Distill-Qwen-32B, se je spopadel s posebnimi izzivi, ko se je spopadel z različicami vprašanj AIME 1. Ti izzivi se vrtijo predvsem okoli sposobnosti modela za posploševanje in uporabo logičnega sklepanja za spremenjene scenarije problemov.
1. opustitve uspešnosti: Model se je odlično odrezal pri natančnih odgovorih na originalna vprašanja AIME 1 na podlagi preskusnih podatkov. Ko pa se je soočil z različicami teh vprašanj, kjer so bile vrednosti spremenjene, se je njegova uspešnost znatno zmanjšala. To kaže, da medtem ko Deepseek-R1-Distill-Qwen-32B pozna in uporablja znane rešitve, se bori s prilagajanjem novih ali spremenjenih nastavitvah problemov [1].
2. Omejitve logičnega sklepanja: Nezmožnost modela, da učinkovito razloži spremembe v parametrih problemov, kaže na omejitve v njegovih logičnih zmožnostih sklepanja. Za razliko od človeških reševalcev, ki lahko pogosto posplošujejo rešitve, ki temeljijo na razumevanju osnovnih načel, se lahko modeli Deepseeka bolj zanašajo na prepoznavanje in pomnjenje vzorcev. Zaradi tega so manj učinkoviti pri ravnanju z novimi ali nekoliko spremenjenimi problematičnimi scenariji [1].
3. Pomanjkanje vpogleda v utemeljitev: Brez vpogleda v utemeljitev sprememb vrednot ali problematičnih struktur je natančno oceniti in izboljšati uspešnost modela. To poudarja potrebo po bolj preglednih in pojasnjenih modelih AI, ki lahko dajo vpogled v njihove procese odločanja [1].
4. Izzivi posploševanja: Modeli Deepseeka, tako kot mnogi sistemi AI, se soočajo z izzivi pri posploševanju svojega znanja na nove kontekste. To je še posebej očitno v matematičnih tekmovanjih, kjer težave pogosto ne zahtevajo samo pomnjenja, ampak tudi sposobnost uporabe načel na nove načine. Izboljšanje tega vidika bi vključevalo izboljšanje sposobnosti modela za razumevanje osnovnih matematičnih konceptov, ne pa zgolj prepoznavanja vzorcev [3].
Če povzamemo, izzivi Deepseeka z različicami AIME 1 izhajajo iz njene odvisnosti od pomnjenja in prepoznavanja vzorcev, kar omejuje njegovo sposobnost posploševanja in uporabe logičnega sklepanja za spremenjene scenarije problemov. Za reševanje teh izzivov bo potreben napredek v razumevanju in uporabi matematičnih načel modela.
Navedbe:
[1] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[2] https://wescarroll.com/aime-math-competition-tips/
[3] https://www.linkedin.com/pulse/deepseek-revolution-ai-open-source-reasoning-20-Ramachandran-xakme
[4] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[5] https://artofproblemsolving.com/wiki/index.php/2024_aime_i_problems
[6] https://hiddenlayer.com/innovation-hub/deepsht-exposing-the-security-risks-of-reepseek-r1/
[7] https://www.turtlesai.com/sl/pages-2142/deepseek-challenges-openai-with-r1-resonusing-model
[8] https://web.evanchen.cc/mockaime.html