Kuo „Soft Actor-Critic“ treniruočių laikas skiriasi nuo DQN „OpenAI Gym“ aplinkose

1. Mokymų laikas:
- Paieškos rezultatai tiesiogiai nepalygina SAC ir DQN treniruočių laiko. Tačiau jie suteikia tam tikrų įžvalgų:
- SAC „Spinning Up“ dokumentacijoje minima, kad įgyvendinimas nepalaiko lygiagretinimo, o tai gali turėti įtakos mokymo laikui, palyginti su lygiagrečiais algoritmais, tokiais kaip DQN.
- Tyrimo dokumente [4] atliktas lyginamasis tyrimas parodė, kad DQN ir A2C (politikos gradiento metodas) tam tikrose neuroninių tinklų architektūrose buvo prastos ir nepatikimos, o tokie algoritmai kaip PPO parodė nuoseklesnį našumą įvairiose architektūrose.
- Tai rodo, kad hiperparametrų ir tinklo architektūros pasirinkimas gali turėti didelės įtakos skirtingų RL algoritmų, įskaitant SAC ir DQN, mokymo laikui ir veikimui.

2. Našumas:
- Paieškos rezultatai rodo, kad SAC paprastai lenkia DQN atliekant nuolatines valdymo užduotis, pvz., kalnų automobilio nenutrūkstamą aplinką.
- Atskirose veiksmų erdvėse, tokiose kaip „CartPole“, DQN paprastai veikia geriau nei SAC.
- SAC „Spinning Up“ dokumentacijoje pažymima, kad jis skirtas nepertraukiamo veiksmo erdvėms ir gali neveikti taip gerai atskirose veiksmų erdvėse.
- Lyginamajame [5] tyrime nustatyta, kad nors DQN puikiai tinka atskirose veiksmų erdvėse, DDPG (SAC pirmtakas) labiau tinka nuolatinėms valdymo užduotims, o PPO rodo nuoseklų našumą įvairiose aplinkose.

Apibendrinant, nors paieškos rezultatai nepateikia tiesioginio SAC ir DQN mokymo laiko palyginimo, jie rodo, kad šių algoritmų našumas gali skirtis priklausomai nuo konkrečios aplinkos ir užduoties, taip pat nuo hiperparametrų pasirinkimo ir tinklo architektūros. . Atrodo, kad SAC turi pranašumą atliekant nuolatinio valdymo užduotis, o DQN gali geriau veikti atskirose veiksmų erdvėse. Šių algoritmų mokymo trukmę taip pat gali įtakoti tokie veiksniai kaip lygiagretumas ir aplinkos bei užduoties sudėtingumas.