Deepseek je dosegel visoko natančnost na referenčni meri AIME 2024 z uporabo več inovativnih tehnik:
1. Ustvarjanje podatkov o usposabljanju: Podatki o usposabljanju, ki jih je mogoče samodejno preveriti, zlasti na področjih, kot je matematika, ki je mogoče samodejno preveriti, kjer je pravilnost nedvoumna. Ta pristop jim je omogočil, da so se osredotočili na ustvarjanje kakovostnih, ustreznih podatkov, ki neposredno prispevajo k izboljšanju uspešnosti modela [1].
2. Učinkovite funkcije nagrajevanja: Razvili so zelo učinkovite funkcije nagrajevanja, namenjene ugotavljanju, kateri novi primeri usposabljanja bi dejansko izboljšali model. Ta strategija je pomagala preprečiti zapravljanje računskih virov o odvečnih podatkih in tako zagotovila, da se je model naučil iz najdragocenejših primerov [1].
3. Destilacija in optimizacija modela: Deepseek so uporabili tehnike destilacije modela za ustvarjanje manjših modelov, ki so še vedno dosegli impresivne rezultate. Na primer, njihov destilirani model 7B je presegel natančnost večjih odprtokodnih modelov, kot je QWQ-32B-PREVIGE, kljub manj parametrom. To prikazuje, kako lahko osredotočeno usposabljanje privede do močne uspešnosti na določenih področjih s skromnimi računskimi viri [1].
4. Preskusni čas izračunavanja in sklepanja: Modeli Deepseek, kot je Deepseek R1, uporabljajo tehniko, imenovano "Test-Time Compute", ki modelu omogoča, da porabi več časa in računske moči za vsako težavo. Ta pristop posnema človeško razpravo, kar ima za posledico natančnejše in premišljene odzive. Ko model ustvarja daljše verige sklepanja, lahko z večjo natančnostjo reši vse bolj zapletene težave [6].
5. Preglednost in več-agentna arhitektura: Modeli Deepseek, zlasti Deepseek-R1, uporabljajo večkratno skupno arhitekturo, ki združuje različne poti sklepanja. Ta sinergija pomaga ublažiti pristranskosti, specifične za naloge in poveča doslednost z zmanjšanjem spremenljivosti. Strukturiran pristop omogoča modelu, da dinamično daje prednost rešitvam visoke spopada, hkrati pa iterativno izpopolnjuje manj določenih izhodov [3].
Te tehnike skupaj prispevajo k impresivni uspešnosti Deepseeka na referenčnem merilu AIME 2024, ki prikazujejo, kako lahko strateški načini usposabljanja in oblikovanje modela presegajo neobdelano računalniško moč pri doseganju visoke natančnosti.
Navedbe:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-matter-more- than-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573V1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-Openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityAlliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-aa-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-epeepseek-models