DeepSeek досягла високої точності на еталоні AIME 2024, використовуючи кілька інноваційних методик:
1. Зорієнтовані дані про навчання: Дані тренувань DeepSeek, які можна автоматично перевірити, особливо в таких областях, як математика, де правильність є однозначною. Цей підхід дозволив їм зосередитись на створенні якісних, відповідних даних, які безпосередньо сприяють підвищенню продуктивності моделі [1].
2. Ефективні функції винагороди: вони розробили високоефективні функції винагороди, розроблені для визначення нових прикладів навчання фактично покращують модель. Ця стратегія допомогла уникнути витрачання обчислювальних ресурсів на надмірні дані, гарантуючи, що модель засвоєна з найцінніших прикладів [1].
3. Перегонки та оптимізація моделі: DeepSeek використовував методи дистиляції моделі для створення менших моделей, які все ще досягли вражаючих результатів. Наприклад, їх дистильована модель 7B перевершила точність більших моделей з відкритим кодом, таких як QWQ-32B-Preview, незважаючи на менше параметрів. Це демонструє, як цілеспрямоване навчання може призвести до сильної продуктивності в конкретних областях із скромними обчислювальними ресурсами [1].
. Цей підхід імітує людські роздуми, що призводить до більш точних та продуманих відповідей. Оскільки модель генерує більш тривалі міркування, вона може вирішувати все більш складні проблеми з більшою точністю [6].
5. Прозорість та багатоагентна архітектура: моделі DeepSeek, особливо DeepSeek-R1, використовують багатоагентну спільну архітектуру, яка інтегрує різноманітні шляхи міркування. Ця синергія допомагає пом'якшити упередження, пов'язані з завданнями, і посилює узгодженість за рахунок зменшення мінливості. Структурований підхід дозволяє моделі динамічно визначити пріоритетні рішення з високою впевненістю, при цьому ітеративно вдосконалюють менші певні результати [3].
Ці методи колективно сприяють вражаючій ефективності DeepSeek на орієнтирі AIME 2024, демонструючи, як стратегічні методи навчання та дизайн моделі можуть перевершити сиру обчислювальну потужність у досягненні високої точності.
Цитати:
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-that-ai-expertise-might-mater-than-than-compute-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-architectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
4
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepeek-models