DeepSeek R1 розширює свої можливості міркування за допомогою нового підходу для підкріплення (RL), який відрізняється від традиційних контрольованих методів тонкої настройки (SFT). Ця інноваційна стратегія дозволяє моделі розвивати навички міркування незалежно та ефективно.
Рамка для підкріплення
Deepseek R1 використовує групову відносну оптимізацію політики (GRPO), на основі правил RL-рамки, яка дозволяє моделі вчитися на випробуванні та помилках, не покладаючись на попередньо марковані набори даних. Цей підхід дозволяє моделі досліджувати величезний простір рішення, виявляючи унікальні моделі міркувань та стратегії, які можуть бути присутніми в контрольованих даних про навчання [1] [2] [4]. Захоплюючи міркування під час процесу RL, DeepSeek R1 може генерувати узгоджені ланцюги думки та брати участь у самоперешкодній та рефлексії, які є критичними для складного вирішення проблем [4].
Багато-
Навчання DeepSeek R1 розділений на кілька фаз:
1. Фаза холодного старту: Модель починається з невеликої кількості високоякісних контрольованих даних, зібраних від свого попередника, DeepSeek R1-Zero. Ця фаза допомагає пом'якшити такі питання, як погана читабельність та змішування мови, які спостерігалися в попередніх моделях [1] [2].
2. Ця фаза зосереджена на покращенні можливостей у конкретних областях, таких як кодування, математика та логіка, де чіткі рішення можна визначити за допомогою правил винагороди [3] [4].
3. Тонка налаштування з новими даними: Після початкової підготовки RL нові контрольовані дані генеруються за допомогою вибірки відхилення на основі контрольної точки RL. Потім ці дані використовуються для подальшої тонкої настройки, що дозволяє моделі вдосконалити свої здібності до міркувань у різних завданнях [1] [2].
результати ефективності
Результатом цього суворого навчального процесу є модель, яка досягає рівнів продуктивності, порівнянних з провідними моделями, такими як O1-1217 OpenAI за завданнями міркувань. Наприклад, DeepSeek R1 продемонстрував значні поліпшення орієнтирів, при цьому ставки проходження збільшуються з 15,6% до 71% у завданнях AIME 2024, демонструючи свої розширені можливості міркувань [1] [2].
Підсумовуючи це, підхід до навчання DeepSeek R1 не лише сприяє незалежному міркуваннях, але й підвищує ефективність вирішення проблем, мінімізуючи залежність від широких наборів даних. Це позиціонує його як потужний інструмент у ландшафті великих мовних моделей.
Цитати:[1] https://arxiv.org/html/2501.12948v1
[2] https://myedgetech.com/deepseek-r1-tr/
[3] https://www.youtube.com/watch?v=dcqqcllsibu
[4] https://arbisoft.com/blogs/deep-seek-r1-the-chinese-ai-powerhouse-utperforming-open-ai-s-o1-at-95-без-cost-cost-cost-cost-cost
[5] https://github.com/deepseek-ai/deepseek-r1/actions
[6] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[7] https://arxiv.org/abs/2501.12948
[8] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it