Deepseek prikazuje vrhunsko uspešnost nad Chatgpt v ničelnih scenarijih učenja pod določenimi pogoji. Tu so ključna področja, kjer se odlikuje Deepseek:
Izboljšane zmogljivosti sklepanja
Modeli Deepseek, zlasti Deepseek R-1 in R-1-Zero, so pokazali pomembne izboljšave pri nalogah sklepanja v primerjavi s ChatGPT. V primerjavi z meritvami, kot sta AIME in GPQA, je Deepseek R-1-Zero presegel OpenAI-jev model O1 in dosegel natančnost prehoda@1 71,0%, kar je mogoče še povečati na 86,7% z večino tehnik glasovanja [1] [2]. To kaže, da je Deepseek še posebej spreten pri nalogah, ki zahtevajo logično sklepanje brez predhodnih primerov.Ravnanje z znanjem, specifičnim za domeno
Deepseekova arhitektura vključuje specializirane module za različne domene, kot sta matematika in kodiranje. Ti moduli mu omogočajo, da bolje deluje v tehničnih okoliščinah v primerjavi s Chatgpt, kar je bolj posplošeno. V posebnih testih je Deepseek V3 v scenarijih učenja z ničelnim strelom presegel ChatGPT, zlasti pri matematičnih sklepanju in programiranju [3] [4].Občutljivost za spodbujanje tehnik
Opazili so, da modeli Deepseek delujejo bolje, saj se z ničelnim strelom in ne le malo poziva. To je v nasprotju s Chatgpt, kjer lahko malo kontekstov posnetkov izboljša zmogljivost. Priporočilo za Deepseek je uporabiti jasna in jedrnata navodila v nastavitvi ničelnega strela za optimalne rezultate, ki ustrezajo ugotovitvam iz Microsoftovih raziskav o modelih sklepanja [1] [2].Učenje in prilagajanje
Deepseek R-1-Zero-ov proces usposabljanja mu omogoča samostojno razvijanje prefinjenega sklepanja. Sčasoma se nauči samopopravkov in potrditi svoje rezultate, kar vodi do izboljšane natančnosti pri zapletenih nalogah sklepanja [1]. Ta sposobnost samopopolnjevanja je pomembna prednost v scenarijih z ničelnim strelom, kjer mora model ustvariti odzive brez obsežnega predhodnega konteksta.Če povzamemo, Deepseek prekaša Chatgpt pri učenju z ničelnim strelom, predvsem zaradi izboljšanih zmogljivosti sklepanja, specializiranega ravnanja z znanjem domene, učinkovitih tehnik spodbujanja in robustnih mehanizmov samoučevanja. Ti dejavniki so še posebej primerni za naloge, ki zahtevajo logično doslednost in tehnično natančnost.
Navedbe:[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-Openais-o1
[2] https://prompthub.substack.com/p/have-the-chinese-overtaken-openai
[3] https://frontend-snippets.com/blog/deepseek-vs-chatgpt-which-Large-Language-model-Leads-ai
[4] https://aclanthology.org/2024.emnlp-main.408.pdf
[5] https://www.youtube.com/watch?v=7hccf8nm8nm
[6] https://news.ycombinator.com/item?id=42823568
[7] https://www.reddit.com/r/localllama/comments/1i9txf3/deepseek_y_way_better_in_python_code_generation/
[8] https://arxiv.org/html/2405.04434V4