A DeepSeek számos innovatív technikát alkalmazva nagy pontosságot ért el az AIME 2024 referenciaértékén:
1. Fókuszált képzési adatok generálása: A mélymagok által generált képzési adatok, amelyek automatikusan ellenőrizhetők, különösen olyan területeken, mint a matematika, ahol a helyesség egyértelmű. Ez a megközelítés lehetővé tette számukra, hogy összpontosítsanak a kiváló minőségű, releváns adatok létrehozására, amelyek közvetlenül hozzájárulnak a modell teljesítményének javításához [1].
2. Hatékony jutalomfunkciók: Olyan rendkívül hatékony jutalomfunkciókat fejlesztettek ki, amelyek meghatározták, hogy mely új képzési példák javítják a modellt. Ez a stratégia elősegítette a számítási erőforrások pazarlásának elkerülését a redundáns adatokon, biztosítva, hogy a modell megtanulja a legértékesebb példákból [1].
3. Desztilláció és modell optimalizálás: A mélymagok modell desztillációs technikákat használtak kisebb modellek létrehozására, amelyek még mindig lenyűgöző eredményeket értek el. Például desztillált 7B modelljük meghaladta a nagyobb nyílt forrású modellek, például a QWQ-32B-Preview pontosságát, annak ellenére, hogy kevesebb paraméterrel rendelkeznek. Ez azt mutatja, hogy a koncentrált edzés hogyan eredményezhet erős teljesítményt a szerény számítási erőforrásokkal rendelkező speciális területeken [1].
4. Teszt-idő kiszámítás és érvelési láncok: A DeepSeek modellek, mint például a DeepSeek R1, használnak egy „Test-Time Compute” elnevezésű technikát, amely lehetővé teszi a modell számára, hogy több időt és számítási teljesítményt töltsön el az egyes problémákra. Ez a megközelítés utánozza az emberszerű megbeszélést, pontosabb és átgondolt válaszokat eredményezve. Mivel a modell hosszabb érvelési láncokat generál, nagyobb pontossággal oldhatja meg az egyre összetettebb problémákat [6].
5. Az átláthatóság és a multi-agent architektúra: A DeepSeek modellek, különösen a DeepSeek-R1, egy multi-agent együttműködési építészetet alkalmaznak, amely integrálja a különféle érvelési útvonalakat. Ez a szinergia elősegíti a feladat-specifikus torzítások enyhítését és javítja a következetességet a variabilitás csökkentésével. A strukturált megközelítés lehetővé teszi a modell számára, hogy dinamikusan rangsorolja a nagy bizalommal kapcsolatos megoldásokat, miközben iteratív módon finomítja a kevésbé bizonyos kimeneteket [3].
Ezek a technikák együttesen hozzájárulnak a DeepSeek lenyűgöző teljesítményéhez az AIME 2024 referenciaértékén, megmutatva, hogy a stratégiai képzési módszerek és a modelltervezés hogyan tudja felülmúlni a nyers számítási erőt a nagy pontosság elérése érdekében.
Idézetek:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-matter-more-more-than-compute-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r--model-overview-and-how-it-tanks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-aai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models