Deepseek saavutas AIME 2024 võrdlusaluse suure täpsuse, kasutades mitmeid uuenduslikke tehnikaid:
1. keskendunud koolitusandmete genereerimine: Deepseek genereeris koolitusandmeid, mida saaks automaatselt kontrollida, eriti sellistes domeenides nagu matemaatika, kus korrektsus on ühemõtteline. See lähenemisviis võimaldas neil keskenduda kvaliteetsete asjakohaste andmete loomisele, mis aitavad otseselt kaasa mudeli jõudluse parandamisele [1].
2. tõhusad tasufunktsioonid: need töötasid välja väga tõhusad tasufunktsioonid, mille eesmärk on välja selgitada, millised uued koolitusnäited mudelit tegelikult parandaksid. See strateegia aitas vältida arvutuslike ressursside raiskamist koondatud andmetele, tagades, et mudel õppis kõige väärtuslikumatest näidetest [1].
3. destilleerimine ja mudeli optimeerimine: Deepseek kasutas mudeli destilleerimise tehnikaid väiksemate mudelite loomiseks, mis saavutasid endiselt muljetavaldavad tulemused. Näiteks ületas nende destilleeritud 7B mudel suuremate avatud lähtekoodiga mudelite, näiteks QWQ-32B-Preview täpsuse, vaatamata sellele, et neil on vähem parameetreid. See näitab, kuidas keskendunud koolitus võib tagasihoidlike arvutusressurssidega kindlatel domeenidel tuua tugevaid tulemusi [1].
4. Test-aja arvutus- ja arutlusketid: Deepseek mudelid, näiteks Deepseek R1, kasutavad tehnikat nimega "Test-Time Compute", mis võimaldab mudelil kulutada igale probleemile rohkem aega ja arvutuslikku energiat. See lähenemisviis jäljendab inimlikku arutelu, mille tulemuseks on täpsem ja läbimõeldud reageeringud. Kuna mudel genereerib pikemaid mõttekäikusid, suudab see lahendada üha keerukamad probleemid suurema täpsusega [6].
5. Läbipaistvus ja mitme agendi arhitektuur: Deepseek mudelid, eriti Deepseek-R1, kasutavad mitmeagendi koostööarhitektuuri, mis integreerib mitmekesised mõttekäigud. See sünergia aitab leevendada ülesandespetsiifilisi eelarvamusi ja suurendab järjepidevust, vähendades varieeruvust. Struktureeritud lähenemisviis võimaldab mudelil dünaamiliselt tähtsustada suure usaldusväärsuse lahendusi, täpsustades samal ajal vähem teatud väljundeid [3].
Need tehnikad aitavad ühiselt kaasa Deepseeki muljetavaldavale jõudlusele AIME 2024 võrdlusaluse osas, näidates, kuidas strateegilised koolitusmeetodid ja mudeli kujundamine suudavad suure täpsuse saavutamisel toornahalise arvutusjõudu edestada.
Tsitaadid:
]
]
[3] https://arxiv.org/html/2503.10573v1
]
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agen-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
]
]