Как подход DeepSeek R1 к обучению усиливает его способности рассуждения

Средство обучения подкреплению

DeepSeek R1 использует групповую относительную оптимизацию политики (GRPO), основанную на правилах RL-структуру, которая позволяет модели учиться на пробных и ошибках, не полагаясь на предварительно меченные наборы данных. Этот подход позволяет модели изучить обширное пространство решений, обнаруживая уникальные модели рассуждений и стратегии, которые могут не присутствовать в контролируемых данных обучения [1] [2] [4]. Следив за рассуждениями во время процесса RL, DeepSeek R1 может генерировать когерентные цепочки мышления и участвовать в самостоятельстве и рефлексии, которые имеют решающее значение для сложного решения проблем [4].

многоэтапный процесс обучения

Обучение DeepSeek R1 делится на несколько этапов:

1. Фаза холодного запуска: модель начинается с небольшого количества высококачественных контролируемых данных, собранных у его предшественника Deepseek R1-Zero. Этот этап помогает смягчить такие проблемы, как плохая читабельность и смешивание языка, которые наблюдались в более ранних моделях [1] [2].

2. RL, ориентированный на рассуждения: После холодного старта модель проходит обширную обучение RL, ориентированную на рассуждения. Этот этап фокусируется на расширении возможностей в конкретных областях, таких как кодирование, математика и логика, где четкие решения могут быть определены с использованием правил вознаграждения [3] [4].

3. Точная настройка с новыми данными: после начального обучения RL новые контролируемые данные генерируются посредством выборки отказа на основе контрольной точки RL. Затем эти данные используются для дальнейшей настройки, позволяя модели усовершенствовать свои способности рассуждений по различным задачам [1] [2].

результаты производительности

Результатом этого строгого процесса обучения является модель, которая достигает уровней производительности, сравнимых с ведущими моделями, такими как Operai's O1-1217 по поводу аргументов. Например, DeepSeek R1 продемонстрировал значительные улучшения в контрольных показателях, причем показатели прохождения увеличились с 15,6% до 71% на задачах AIME 2024, демонстрируя свои расширенные возможности рассуждения [1] [2].

Таким образом, подход DeepSeek R1 подкрепляющего обучения не только способствует независимым рассуждениям, но и повышает эффективность решения проблем, минимизируя зависимость от обширных контролируемых наборов данных. Это позиционирует его как мощный инструмент в ландшафте крупных языковых моделей.