Η σύγκριση του χρόνου κατάρτισης μεταξύ του Soft Actor-Critic (SAC) και του Deep Q-Network (DQN) σε περιβάλλοντα γυμναστικής OpenAI εξαρτάται από διάφορους παράγοντες, συμπεριλαμβανομένης της φύσης του περιβάλλοντος, της πολυπλοκότητας των χώρων του κράτους και της δράσης και των αλγοριθμικών διαφορών μεταξύ SAC και DQN.
Ο μαλακός ηθοποιός-κριτικός (SAC) είναι ένας αλγόριθμος εκτός της πολιτικής που βελτιστοποιεί μια στοχαστική πολιτική χρησιμοποιώντας τη μέγιστη μάθηση ενίσχυσης εντροπίας, η οποία στοχεύει στη μεγιστοποίηση τόσο της αναμενόμενης απόδοσης όσο και της εντροπίας της πολιτικής, προωθώντας την εξερεύνηση. Το SAC έχει σχεδιαστεί για να λειτουργεί καλά σε χώρους συνεχούς δράσης. Χρησιμοποιεί συνήθως δύο λειτουργίες Q (για να μειώσει την υπερεκτίμηση της μεροληψίας), έναν στοχαστικό ηθοποιό και μια παράμετρο θερμοκρασίας που ρυθμίζει την αντιστάθμιση μεταξύ εξερεύνησης και εκμετάλλευσης. Το SAC ενημερώνει τα δίκτυα πολιτικής και αξίας που βασίζονται σε παρτίδες που υποβλήθηκαν σε δειγματοληψία από ένα buffer επανάληψης και συνήθως χρησιμοποιούν νευρωνικά δίκτυα με ενδιάμεσα στρώματα για προσέγγιση λειτουργίας. Οι ενημερώσεις κατάρτισης περιλαμβάνουν βήματα backpropagation που ενημερώνουν τα βάρη δικτύου κάθε σταθερό αριθμό βημάτων. Η SAC είναι γνωστή για τη σταθερή μάθηση και την ευρωστία του, αλλά η εγγενή πολυπλοκότητα και η χρήση δύο Q-Networks μαζί με την στοχαστική πολιτική συχνά σημαίνουν ότι η SAC χρειάζεται περισσότερη υπολογιστική προσπάθεια ανά βήμα από τους απλούστερους αλγόριθμους.
Το DQN, από την άλλη πλευρά, είναι μια μέθοδος εκτός της πολιτικής που σχεδιάζεται κυρίως για διακριτές χώρους δράσης. Προσεγγίζει τη λειτουργία δράσης-τιμής q (s, a) από ένα νευρωνικό δίκτυο και χρησιμοποιεί την επανάληψη εμπειρίας και τα δίκτυα στόχου για τη σταθεροποίηση της κατάρτισης. Ο πράκτορας DQN επιλέγει τις ενέργειες μεγιστοποιώντας τις τιμές Q και ενημερώνει το δίκτυο Q με ελαχιστοποιώντας μια απώλεια χρονικής διαφοράς χρησιμοποιώντας μίνι παρτίδες από το buffer επανάληψης σε σταθερά διαστήματα κατά τη διάρκεια της εκπαίδευσης. Σε σύγκριση με το SAC, το DQN έχει γενικά μια απλούστερη αρχιτεκτονική, δεδομένου ότι περιλαμβάνει μόνο ένα δίκτυο Q και μια ντετερμινιστική πολιτική που προέρχεται από τις τιμές Q.
Όσον αφορά το χρόνο κατάρτισης, οι μελέτες και τα πειράματα που αναφέρθηκαν από τους επαγγελματίες και την έρευνα δείχνουν ότι:
1. Το DQN είναι συχνά ταχύτερο ανά βήμα κατάρτισης από το SAC λόγω της απλούστερης αρχιτεκτονικής του ** μόνο ένα μόνο Q-Network εκπαιδεύεται και η πολιτική είναι ντετερμινιστική, επομένως απαιτεί λιγότερους υπολογισμούς από τις στοχαστικές ενημερώσεις πολιτικής και πολλαπλά δίκτυα στο SAC. Αυτό συνήθως μεταφράζεται σε χαμηλότερο χρόνο τοίχου ανά επανάληψη για το DQN.
2. Ωστόσο, το SAC συχνά απαιτεί περισσότερα δεδομένα και βήματα κατάρτισης για να επιτευχθούν συγκρίσιμες επιδόσεις, ιδιαίτερα σε περιβάλλοντα με συνεχείς χώρους δράσης όπου το DQN δεν είναι εφαρμόσιμο ή λιγότερο αποτελεσματικό. Το SAC επωφελείται από την καλύτερη εξερεύνηση μέσω μεγιστοποίησης της εντροπίας, η οποία μπορεί να επιμηκύνει το χρόνο κατάρτισης, αλλά οδηγεί σε πιο ισχυρές πολιτικές.
3. Σε περιβάλλοντα διακριτά δράση που διατίθενται στο OpenAI Gym, το DQN μπορεί συχνά να ξεπεράσει το SAC από την άποψη της αρχικής ταχύτητας μάθησης λόγω της απλούστερης πολιτικής και της ταχύτερης εκτίμησης της αξίας. Αλλά η απόδοση του SAC συνήθως κλιμακώνεται καλύτερα σε πολύπλοκα περιβάλλοντα, ειδικά σε συνεχείς, όπου η αποτελεσματικότητα της δειγματοληψίας και η ευρωστία της πολιτικής είναι κρίσιμες.
4. Σύμφωνα με ορισμένες συγκριτικές αναφορές, ο απλούστερος αγωγός κατάρτισης της DQN και λιγότερες ενημερώσεις δικτύου ανά βήμα σημαίνουν ότι ολοκληρώνει συχνά την κατάρτιση σε λιγότερο χρόνο τοίχου σε σύγκριση με το SAC όταν και οι δύο εφαρμόζονται σε διακριτά καθήκοντα δράσης. Ο χρόνος εκπαίδευσης του SAC είναι μεγαλύτερος λόγω του υπολογισμού των κλίσεων για πολλαπλά δίκτυα, της ρύθμισης της θερμοκρασίας για την εντροπία και της δειγματοληψίας από buffer επανάληψης που μπορεί να απαιτούν μεγαλύτερα μεγέθη παρτίδων.
5. Τα ερευνητικά έγγραφα και οι υλοποιήσεις δείχνουν ότι οι εκπαιδευτικές συνεδρίες SAC σε περιβάλλοντα όπως το Reacher-V2 (ένα συνεχές περιβάλλον γυμναστικής ελέγχου) τείνουν να διαρκούν σημαντικά περισσότερο στον υπολογισμό του χρόνου σε σύγκριση με το DQN σε διακεκριμένα καθήκοντα όπως τα παιχνίδια Atari ή το Cartpole, επειδή τα τρένα SAC και τα δίκτυα πολιτικής και αξίας είναι πιο έντονα ανά επανάληψη.
6. Εμπειρικά σημάδια αναφοράς δείχνουν ότι σε περιβάλλοντα όπως το Mujoco των Mujoco των Mujoco του OpenAi Gym προτιμάται παρά τους μεγαλύτερους χρόνους κατάρτισης, επειδή επιτυγχάνει πολιτικές υψηλότερης ποιότητας και καλύτερη γενίκευση. Αντίθετα, για απλούστερα διακριτά περιβάλλοντα ελέγχου, το DQN συχνά εκπαιδεύει γρηγορότερα και φτάνει στην αποδεκτή απόδοση ταχύτερη λόγω της απλότητας του σχεδιασμού του.
Συνοπτικά, για περιβάλλοντα γυμναστικής OpenAi:
- Το DQN είναι συνήθως ταχύτερο για να εκπαιδεύσει ανά βήμα και απαιτεί λιγότερους υπολογιστικούς πόρους για διακριτές χώρους δράσης.
- Ο SAC απαιτεί μεγαλύτερους χρόνους κατάρτισης λόγω των διπλών Q-Networks, της στοχαστικής μάθησης πολιτικής και της μεγιστοποίησης της εντροπίας, αλλά συχνά αποδίδει ισχυρότερες πολιτικές, ειδικά σε συνεχείς τομείς δράσης.
-Το SAC ενδέχεται να χρειαστεί περισσότερα βήματα κατάρτισης και χρόνο τοίχου από το DQN όταν εφαρμόζεται σε συγκρίσιμα περιβάλλοντα, αλλά επιτυγχάνει καλύτερη ευρωστία πολιτικής και εξερεύνησης.
- Η επιλογή μεταξύ των δύο εξαρτάται από τα χαρακτηριστικά του περιβάλλοντος (συνεχές έναντι διακριτών ενεργειών), την επιθυμητή ευρωστία πολιτικής και τον υπολογιστικό προϋπολογισμό.