Ο αλγόριθμος της σχετικής βελτιστοποίησης πολιτικής (GRPO) διαδραματίζει κρίσιμο ρόλο στην εκπαίδευση του Deepseek R1, ενισχύοντας τις δυνατότητες λογικής της μέσω μιας απλοποιημένης προσέγγισης ενίσχυσης (RL).
Επισκόπηση του GRPO
Το GRPO είναι ένας νέος αλγόριθμος μάθησης ενίσχυσης που τροποποιεί τις παραδοσιακές μεθόδους όπως η βελτιστοποίηση της εγγύς πολιτικής (PPO) εξαλείφοντας την ανάγκη για ένα ξεχωριστό μοντέλο λειτουργίας αξίας, το οποίο απλοποιεί τη διαδικασία κατάρτισης και μειώνει τη χρήση της μνήμης. Αντί να βασίζεται σε ένα μοντέλο κριτικής για την αξιολόγηση των αποτελεσμάτων, η GRPO χρησιμοποιεί στατιστικές συγκρίσεις μεταξύ πολλαπλών παραγόμενων εξόδων για την αξιολόγηση των επιδόσεων σε σχέση με τους μέσους όρους [1] [3]. Αυτή η μέθοδος επιτρέπει στο μοντέλο να μαθαίνει πιο αποτελεσματικά εστιάζοντας στα πλεονεκτήματα που βασίζονται σε ομάδες και όχι στις ατομικές αξιολογήσεις εξόδου.
Διαδικασία κατάρτισης στο Deepseek R1
Στο πλαίσιο του Deepseek R1, το GRPO διευκολύνει τη μάθηση ενίσχυσης μεγάλης κλίμακας χωρίς την ανάγκη εποπτευόμενης τελειοποίησης. Το μοντέλο δημιουργεί πολλαπλές υποψήφιες λύσεις για κάθε προτροπή και υπολογίζει τις ανταμοιβές με βάση την ακρίβεια και την προσκόλλησή τους σε συγκεκριμένες μορφές. Αυτό το σύστημα ανταμοιβής που βασίζεται σε κανόνες διασφαλίζει ότι η διαδικασία κατάρτισης είναι τόσο αποδοτικό όσο και κλιμακωτό [2] [4]. Η απουσία εποπτευόμενων δεδομένων επιτρέπει στο Deepseek R1 να αναπτύξει αυτόνομα δυνατότητες συλλογιστικής μέσω αλληλεπίδρασης με το περιβάλλον του, οδηγώντας σε καινοτόμες συμπεριφορές επίλυσης προβλημάτων [6] [7].
Βασικά πλεονεκτήματα του GRPO στο Deepseek R1
- Εξάλειψη του μοντέλου κριτικών: Με την κατάργηση του κριτικού, το GRPO μειώνει το υπολογιστικό κόστος και την πολυπλοκότητα που σχετίζεται με τη διατήρηση δύο ξεχωριστών νευρωνικών δικτύων (ηθοποιός και κριτικής), το οποίο είναι χαρακτηριστικό στις παραδοσιακές ρυθμίσεις RL [3] [9].
- Υπολογισμός ανταμοιβής με βάση την ομάδα: Ο αλγόριθμος χρησιμοποιεί τη μέση απόδοση μιας ομάδας εξόδων ως βασική γραμμή για τον υπολογισμό των πλεονεκτημάτων, ευθυγραμμίζοντας καλύτερα τη φύση της κατάρτισης μοντέλων ανταμοιβής που συχνά περιλαμβάνει πολλαπλές εξόδους για μία μόνο είσοδο [1] [5].
- Βελτιωμένη απόδοση: Η βελτιωμένη διαδικασία όχι μόνο ενισχύει την απόδοση της μάθησης, αλλά επιτρέπει επίσης στο Deepseek R1 να επιτύχει απόδοση συγκρίσιμη με τα μεγαλύτερα μοντέλα ενώ είναι σημαντικά φθηνότερη για να εκπαιδεύσει και να λειτουργήσει [2] [6].
Συνοπτικά, το GRPO είναι αναπόσπαστο μέρος της κατάρτισης του Deepseek R1, επιτρέποντάς του να μαθαίνει αποτελεσματικά τις δεξιότητες συλλογιστικής μέσω ενός πιο αποτελεσματικού και κλιμακούμενου πλαισίου μάθησης ενίσχυσης. Αυτή η καινοτομία θέτει το Deepseek R1 ως ανταγωνιστικό μοντέλο σε πολύπλοκα καθήκοντα συλλογισμού, ο ανταγωνισμός καθιέρωσε τα συστήματα AI, προωθώντας την προσβασιμότητα στην ανάπτυξη του AI.
Αναφορές:[1] https://www.philschmid.de/deepseek-r1
[2] https://composio.dev/blog/notes-on-the-new-deepseek-r1/
[3] https://dev.to/aws/takeways-from-the-deepseek-r1-model-2dli
[4] https://myedgetech.com/deepseek-r1-tr/
[5] https://aipapersacademy.com/deepseek-r1/
[6] https://www.linkedin.com/pulse/deepseek-revolutionizing-ai-open-source-reasoning-20-ramachandran-xakme
[7] https://arxiv.org/html/2501.12948v1
[8] https://arxiv.org/pdf/2402.03300.pdf
[9] https://dev.to/sayed_ali_alkamel/deepseek-r1-the-open-source-ai-thats-making-waves-on-a-budget-13ik