¿Cómo el enfoque de aprendizaje de refuerzo de Deepseek R1 mejora sus capacidades de razonamiento?

Marco de aprendizaje de refuerzo

Deepseek R1 emplea a la optimización de políticas relativas del grupo (GRPO), un marco RL basado en reglas que permite que el modelo aprenda de prueba y error sin confiar en conjuntos de datos previamente etiquetados. Este enfoque permite que el modelo explore un vasto espacio de solución, descubriendo patrones y estrategias de razonamiento únicos que podrían no estar presentes en los datos de capacitación supervisados ​​[1] [2] [4]. Al incentivar el razonamiento durante el proceso RL, Deepseek R1 puede generar cadenas coherentes de pensamiento y participar en la autoverificación y la reflexión, que son críticas para la resolución de problemas complejas [4].

Proceso de capacitación en varias etapas

El entrenamiento de Deepseek R1 se divide en varias fases:

1. Fase de inicio en frío: el modelo comienza con una pequeña cantidad de datos supervisados ​​de alta calidad recopilados de su predecesor, Deepseek R1-Zero. Esta fase ayuda a mitigar problemas como la mala legibilidad y la mezcla de lenguaje que se observaron en modelos anteriores [1] [2].

2. RL orientado al razonamiento: después del comienzo del frío, el modelo sufre una amplia capacitación RL orientada al razonamiento. Esta fase se centra en mejorar las capacidades en dominios específicos como la codificación, las matemáticas y la lógica, donde las soluciones claras se pueden definir utilizando reglas de recompensa [3] [4].

3. Autorización con nuevos datos: después de la capacitación inicial de RL, se generan nuevos datos supervisados ​​a través del muestreo de rechazo en función del punto de control RL. Luego, estos datos se utilizan para un ajuste más fino, lo que permite que el modelo refine sus habilidades de razonamiento en varias tareas [1] [2].

Resultados de rendimiento

El resultado de este riguroso proceso de entrenamiento es un modelo que logra los niveles de rendimiento comparables a los modelos principales como OpenAI's O1-1217 en tareas de razonamiento. Por ejemplo, Deepseek R1 demostró mejoras significativas en los puntos de referencia, con tasas de aprobación que aumentan del 15.6% al 71% en las tareas de AIME 2024, mostrando sus capacidades de razonamiento mejoradas [1] [2].

En resumen, el enfoque de aprendizaje de refuerzo de Deepseek R1 no solo fomenta el razonamiento independiente, sino que también mejora la eficiencia de resolución de problemas al minimizar la dependencia de conjuntos de datos supervisados ​​extensos. Esto lo posiciona como una herramienta poderosa en el paisaje de modelos de idiomas grandes.