Perbandingan waktu pelatihan antara soft aktor-kritis (SAC) dan Deep Q-network (DQN) di lingkungan gym openai tergantung pada beberapa faktor termasuk sifat lingkungan, kompleksitas negara dan ruang aksi, dan perbedaan algoritmik antara SAC dan DQN.
Soft Actor-Critic (SAC) adalah algoritma off-policy yang mengoptimalkan kebijakan stokastik menggunakan pembelajaran penguatan entropi maksimum, yang bertujuan untuk memaksimalkan pengembalian yang diharapkan dan entropi kebijakan, mempromosikan eksplorasi. SAC dirancang untuk bekerja dengan baik di ruang aksi berkelanjutan. Ini biasanya menggunakan dua fungsi-Q (untuk mengurangi bias perkiraan yang berlebihan), aktor stokastik, dan parameter suhu yang menyesuaikan pertukaran antara eksplorasi dan eksploitasi. SAC memperbarui jaringan kebijakan dan nilai berdasarkan batch yang disampel dari buffer replay dan biasanya menggunakan jaringan saraf dengan lapisan menengah untuk perkiraan fungsi. Pembaruan pelatihan mencakup langkah -langkah backpropagation yang memperbarui bobot jaringan setiap jumlah langkah. SAC dikenal karena pembelajaran dan ketahanannya yang stabil, tetapi kompleksitas yang melekat dan penggunaan dua-jaringan bersama dengan kebijakan stokastik sering kali berarti SAC membutuhkan lebih banyak upaya komputasi per langkah daripada algoritma yang lebih sederhana.
DQN, di sisi lain, adalah metode off-policy yang dirancang terutama untuk ruang aksi diskrit. Ini mendekati fungsi nilai aksi Q (s, a) oleh jaringan saraf dan menggunakan pengulang pengalaman dan jaringan target untuk menstabilkan pelatihan. Agen DQN memilih tindakan dengan memaksimalkan nilai-Q dan memperbarui Q-Network-nya dengan meminimalkan kehilangan perbedaan temporal menggunakan mini-batch dari buffer replay pada interval tetap selama pelatihan. Dibandingkan dengan SAC, DQN umumnya memiliki arsitektur yang lebih sederhana karena hanya melibatkan satu Q-network dan kebijakan deterministik yang berasal dari nilai-Q.
Mengenai waktu pelatihan, studi dan eksperimen yang dilaporkan oleh praktisi dan penelitian menunjukkan bahwa:
1. DQN seringkali lebih cepat per langkah pelatihan daripada SAC karena arsitekturnya yang lebih sederhana ** hanya satu-jaringan-Q yang dilatih dan kebijakan tersebut deterministik, sehingga membutuhkan lebih sedikit perhitungan daripada pembaruan kebijakan stokastik dan beberapa jaringan di SAC. Ini biasanya diterjemahkan menjadi waktu dinding dinding yang lebih rendah per iterasi untuk DQN.
2. Namun, SAC sering membutuhkan lebih banyak data dan langkah -langkah pelatihan untuk mencapai kinerja yang sebanding, terutama di lingkungan dengan ruang tindakan kontinu di mana DQN tidak berlaku atau kurang efisien. SAC mendapat manfaat dari eksplorasi yang lebih baik melalui maksimalisasi entropi, yang dapat memperpanjang waktu pelatihan tetapi mengarah pada kebijakan yang lebih kuat.
3. Dalam lingkungan aksi diskrit yang tersedia di gym openai, DQN sering dapat mengungguli SAC dalam hal kecepatan pembelajaran awal karena kebijakannya yang lebih sederhana dan estimasi nilai yang lebih cepat. Tetapi kinerja SAC biasanya berskala lebih baik di lingkungan yang kompleks, terutama yang berkelanjutan, di mana efisiensi pengambilan sampel dan ketahanan kebijakan sangat penting.
4. Menurut beberapa laporan komparatif, pipa pelatihan DQN yang lebih sederhana dan lebih sedikit pembaruan jaringan per langkah berarti sering menyelesaikan pelatihan dalam waktu waktu dinding yang lebih sedikit dibandingkan dengan SAC ketika keduanya diterapkan pada tugas aksi diskrit. Waktu pelatihan SAC lebih lama karena menghitung gradien untuk beberapa jaringan, penyesuaian suhu untuk entropi, dan pengambilan sampel dari buffer replay yang mungkin memerlukan ukuran batch yang lebih besar.
5. Makalah dan implementasi penelitian menunjukkan bahwa sesi pelatihan SAC di lingkungan seperti Reacher-V2 (lingkungan gym Openai kontrol yang berkelanjutan) cenderung bertahan lebih lama dalam waktu perhitungan dibandingkan dengan DQN berjalan dalam tugas-tugas diskrit seperti game atari atau cartpole, karena SAC melatih baik kebijakan maupun nilai jaringan lebih intensif per iterasi.
6. Tolok ukur empiris menggambarkan bahwa di lingkungan seperti tugas kontrol terus menerus Openai Gym, SAC lebih disukai meskipun waktu pelatihan yang lebih lama karena mencapai kebijakan kualitas yang lebih tinggi dan generalisasi yang lebih baik. Sebaliknya, untuk lingkungan kontrol diskrit yang lebih sederhana, DQN sering melatih lebih cepat dan mencapai kinerja yang dapat diterima lebih cepat karena kesederhanaan desainnya.
Singkatnya, untuk lingkungan gym openai:
- DQN biasanya lebih cepat untuk melatih per langkah dan membutuhkan lebih sedikit sumber daya komputasi untuk ruang tindakan diskrit.
- SAC membutuhkan waktu pelatihan yang lebih lama karena Q-Networks ganda, pembelajaran kebijakan stokastik, dan maksimalisasi entropi tetapi sering kali menghasilkan kebijakan yang lebih kuat, terutama dalam domain aksi berkelanjutan.
-SAC mungkin memerlukan lebih banyak langkah pelatihan dan waktu dinding dinding daripada DQN ketika diterapkan pada lingkungan yang sebanding, tetapi mencapai ketahanan kebijakan yang lebih baik dan pertukaran eksplorasi.
- Pilihan antara keduanya tergantung pada karakteristik lingkungan (tindakan kontinu vs diskrit), ketahanan kebijakan yang diinginkan, dan anggaran komputasi.