Το DeepSeeek-R1 αντιμετωπίζει τα ζητήματα ανάμειξης γλώσσας μέσω μιας διαδικασίας κατάρτισης πολλαπλών σταδίων που συνδυάζει τη μάθηση ενίσχυσης (RL) με εποπτευόμενη τελειοποίηση (SFT). Αρχικά, το μοντέλο ξεκινά με μια βασική έκδοση (DeepSeeek-V3-Base) που είναι λεπτή χρησιμοποιώντας ένα μικρό σύνολο δεδομένων "ψυχρού εκκίνησης", τα οποία βοηθούν στη δημιουργία δομημένων θεμελίων για την κατανόηση των διαφορετικών γλωσσών και των πλαισίων [1] [2 ].
Το μοντέλο χρησιμοποιεί στη συνέχεια καθαρές τεχνικές RL για να ενισχύσει τις δυνατότητες συλλογιστικής του. Ωστόσο, κατά τη διάρκεια της εκπαίδευσης, παρατηρήθηκε ότι η ανάμειξη της γλώσσας θα μπορούσε να συμβεί, ιδιαίτερα όταν χειρίζονται ερωτήματα σε γλώσσες εκτός από αγγλικά ή κινέζικα. Για παράδειγμα, το Deepseek-R1 μπορεί να προεπιλεγεί στα αγγλικά για συλλογιστική και απαντήσεις, ακόμη και αν η είσοδος βρίσκεται σε άλλη γλώσσα [5] [6]. Για να μετριαστεί αυτό, το μοντέλο χρησιμοποιεί δειγματοληψία απόρριψης για τη δημιουργία δεδομένων συνθετικής κατάρτισης από επιτυχημένες διαδρομές RL, η οποία στη συνέχεια συγχωνεύεται με υψηλής ποιότητας εποπτευόμενα δεδομένα από διάφορους τομείς. Αυτή η διαδικασία βοηθά στη βελτίωση της προσαρμοστικότητας του μοντέλου σε διαφορετικές γλώσσες και μειώνει την πιθανότητα ανάμειξης των γλωσσών στις απαντήσεις [1] [4].
Επιπλέον, η συνεχιζόμενη έρευνα στοχεύει στη βελτιστοποίηση του Deepseek-R1 για καλύτερες επιδόσεις σε ένα ευρύτερο φάσμα γλωσσών, ενώ ταυτόχρονα αντιμετωπίζει αποτελεσματικά τους τρέχοντες περιορισμούς στο χειρισμό των εισροών μικτής γλώσσας. Οι μελλοντικές ενημερώσεις αναμένεται να βελτιώσουν τις δυνατότητές του στον τομέα αυτό, ενισχύοντας την ανταπόκρισή του και την ακρίβειά του όταν αλληλεπιδρούν με τους χρήστες σε διαφορετικά γλωσσικά πλαίσια [2] [5].
Αναφορές:
[1] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it
[2] https://adasci.org/mastering-llms-reasoning-capability-with-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1iagr6u/how_do_i_finetune_deepseek_r1_on_a_new_language/
[4] https://unfoldai.com/deepseek-r1/
[5] https://arxiv.org/html/2501.12948v1
[6] https://github.com/deepseek-ai/deepseek-r1/blob/main/readme.md
[7] https://github.com/deepseek-ai/deepseek-r1/activity
[8] https://arxiv.org/html/2501.17030v1