W jaki sposób podejście do uczenia się wzmocnienia Deepeek R1 poprawia jego możliwości rozumowania

Ramy uczenia się wzmocnienia

Deepseek R1 stosuje grupową relatywną optymalizację polityki (GRPO), oparte na regułach ramy RL, które umożliwia modelu uczenie się na podstawie prób i błędów bez polegania na wstępnie znakowanych zestawach danych. Takie podejście pozwala modelowi zbadać rozległą przestrzeń rozwiązania, odkrywając unikalne wzorce rozumowania i strategie, które mogą nie być obecne w danych nadzorowanych [1] [2] [4]. Zachęcając rozumowanie podczas procesu RL, Deepseek R1 może generować spójne łańcuchy myślenia i angażować się w samorozdawanie i refleksję, które są krytyczne dla złożonego rozwiązywania problemów [4].

wieloetapowy proces szkolenia

Szkolenie Deepseek R1 jest podzielone na kilka faz:

1. Faza zimnego startu: Model zaczyna się od niewielkiej ilości wysokiej jakości nadzorowanych danych zebranych od jego poprzednika, Deepseek R1-Zero. Ta faza pomaga w łagodzeniu problemów, takich jak słaba czytelność i mieszanie języka, które obserwowano we wcześniejszych modelach [1] [2].

2. RL zorientowany na rozumowanie: Po zimnym starcie model przechodzi szeroko zakrojone trening RL zorientowany na rozumowanie. Ta faza koncentruje się na zwiększeniu możliwości w określonych domenach, takich jak kodowanie, matematyka i logika, w których jasne rozwiązania można zdefiniować przy użyciu reguł nagrody [3] [4].

3. Dostrojenia się z nowymi danymi: Po początkowym szkoleniu RL nowe nadzorowane dane są generowane poprzez pobieranie próbek odrzucenia na podstawie punktu kontrolnego RL. Dane te są następnie wykorzystywane do dalszego dostrajania, umożliwiając modelowi udoskonalenie umiejętności rozumowania w różnych zadaniach [1] [2].

Wyniki wydajności

Rezultatem tego rygorystycznego procesu treningu jest model, który osiąga poziomy wydajności porównywalne z wiodącymi modelami, takimi jak O1-1217 Openai w zakresie zadań rozumowania. Na przykład Deepseek R1 wykazał znaczącą poprawę punktów odniesienia, przy czym wskaźniki przepustek wzrosły z 15,6% do 71% w zadaniach AIME 2024, pokazując jego zwiększone możliwości rozumowania [1] [2].

Podsumowując, podejście do uczenia się wzmocnienia Deepseek R1 nie tylko sprzyja niezależnemu rozumowaniu, ale także zwiększa wydajność rozwiązywania problemów poprzez zminimalizowanie polegania na rozległych nadzorowanych zestawach danych. To pozycjonuje to jako potężne narzędzie w krajobrazie dużych modeli językowych.