DeepSeek saavutti suuren tarkkuuden Aime 2024 -vertailussa käyttämällä useita innovatiivisia tekniikoita:
1. Kohdennettu harjoitustiedon tuotanto: Deepseek Genered Training -tiedot, jotka voitaisiin varmistaa automaattisesti, etenkin matematiikan kaltaisilla aloilla, joissa oikeellisuus on yksiselitteinen. Tämän lähestymistavan avulla he voivat keskittyä korkealaatuisten, asiaankuuluvien tietojen luomiseen, joka parantaa suoraan mallin suorituskykyä [1].
2. Tehokkaat palkitsemistoiminnot: Ne kehittivät erittäin tehokkaita palkitsemistoimintoja, jotka on suunniteltu tunnistamaan, mitkä uudet koulutusesimerkit todella parantaisivat mallia. Tämä strategia auttoi välttämään laskennallisten resurssien tuhlaamista redundantteihin tietoihin varmistaen, että malli oppi arvokkaimmista esimerkeistä [1].
3. Tislaus ja mallin optimointi: DeepSeek käytti mallin tislaustekniikoita luodakseen pienempiä malleja, jotka silti saavuttivat vaikuttavia tuloksia. Esimerkiksi niiden tislattu 7B-malli ylitti suurempien avoimen lähdekoodin mallien, kuten QWQ-32B-estävän, tarkkuuden huolimatta siitä, että niillä oli vähemmän parametreja. Tämä osoittaa, kuinka keskittynyt koulutus voi johtaa vahvaan suorituskykyyn tietyillä alueilla, joilla on vaatimattomia laskennallisia resursseja [1].
4. Testiajan laskenta- ja päättelyketjut: DeepSeek-mallit, kuten Deepseek R1, hyödyntävät tekniikkaa, jota kutsutaan "testiajan laskentaan", jonka avulla malli voi viettää enemmän aikaa ja laskennallista voimaa jokaiseen ongelmaan. Tämä lähestymistapa jäljittelee ihmisen kaltaista keskustelua, mikä johtaa tarkempiin ja harkittuihin vastauksiin. Kun malli tuottaa pidempiä päättelyketjuja, se voi ratkaista yhä monimutkaisemmat ongelmat suuremmalla tarkkuudella [6].
5. Läpinäkyvyys ja monitoiminen arkkitehtuuri: Deepseek-malleja, erityisesti Deepseek-R1, käyttävät monitoimisen yhteistyöarkkitehtuuria, joka integroi monenlaisia päättelyreittejä. Tämä synergia auttaa lieventämään tehtäväkohtaisia puolueellisuuksia ja tehostamaan johdonmukaisuutta vähentämällä vaihtelua. Jäsennelty lähestymistapa antaa mallin priorisoida dynaamisesti korkean luotettavuusratkaisuja, samalla kun se puhdistaa iteratiivisesti vähemmän tiettyjä lähtöjä [3].
Nämä tekniikat vaikuttavat yhdessä Deepseekin vaikuttavaan suorituskykyyn AIME 2024 -vertailuarvossa, joka esittelee, kuinka strategiset koulutusmenetelmät ja mallisuunnittelu voivat ylittää raa'an laskennallisen voiman suuren tarkkuuden saavuttamisessa.
Viittaukset:
.
.
[3] https://arxiv.org/html/2503.10573v1
.
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agen-architectures/deeptseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
.
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepsek-models