Il confronto dei tempi di addestramento tra attore morbido-critico (SAC) e profondo network Q (DQN) in ambienti di palestra Openi dipende da diversi fattori tra cui la natura dell'ambiente, la complessità dello stato e gli spazi d'azione e le differenze algoritmiche tra SAC e DQN.
Soft Actor-Critic (SAC) è un algoritmo fuori politica che ottimizza una politica stocastica usando l'apprendimento massimo di rinforzo entropico, che mira a massimizzare sia il rendimento atteso che l'entropia della politica, promuovendo l'esplorazione. SAC è progettato per funzionare bene in spazi d'azione continui. In genere impiega due funzioni Q (per ridurre la distorsione da sovrastima), un attore stocastico e un parametro di temperatura che regola il compromesso tra esplorazione e sfruttamento. SAC aggiorna le reti politiche e valori basate su batch campionati da un buffer di riproduzione e in genere utilizza reti neurali con livelli intermedi per l'approssimazione delle funzioni. Gli aggiornamenti di allenamento includono i passaggi di backpropagation che aggiornano i pesi della rete ogni numero fisso di passaggi. Il SAC è noto per il suo apprendimento e robustezza stabili, ma la complessità intrinseca e l'uso di due network Q insieme alla politica stocastica spesso significano che SAC ha bisogno di più sforzi computazionali per fase rispetto agli algoritmi più semplici.
DQN, d'altra parte, è un metodo fuori politica progettato principalmente per spazi d'azione discreti. Si avvicina alla funzione di valore di azione Q (s, A) da una rete neurale e utilizza reti di riproduzione e target per stabilizzare la formazione. L'agente DQN seleziona le azioni massimizzando i valori Q e aggiorna la sua network Q minimizzando una perdita di differenza temporale usando mini-batch dal buffer di riproduzione a intervalli fissi durante l'allenamento. Rispetto a SAC, DQN ha generalmente un'architettura più semplice poiché coinvolge solo una network Q e una politica deterministica derivata dai valori Q.
Per quanto riguarda il tempo di formazione, gli studi e gli esperimenti riportati da professionisti e ricerche indicano che:
1. DQN è spesso più veloce per fase di allenamento rispetto al SAC a causa della sua architettura più semplice ** â â viene addestrata una sola rete Q e la politica è deterministica, quindi richiede meno calcoli rispetto agli aggiornamenti delle politiche stocastiche e a più reti in SAC. Questo di solito si traduce in un tempo inferiore in clock per iterazione per DQN.
2. Tuttavia, SAC richiede spesso più dati e fasi di addestramento per raggiungere prestazioni comparabili, in particolare in ambienti con spazi di azione continua in cui DQN non è applicabile o meno efficiente. SAC beneficia di una migliore esplorazione attraverso la massimizzazione dell'entropia, che può allungare il tempo di allenamento ma porta a politiche più solide.
3. In ambienti di azione discreti disponibili in Openai Gym, DQN può spesso superare la SAC in termini di velocità di apprendimento iniziale a causa della sua politica più semplice e della stima del valore più rapida. Ma le prestazioni di SAC in genere si ridimensionano in ambienti complessi, in particolare quelli continui, in cui l'efficienza di campionamento e la robustezza delle politiche sono fondamentali.
4. Secondo alcuni rapporti comparativi, la pipeline di addestramento più semplice di DQN e un minor numero di aggiornamenti di rete per fase significano spesso che completa la formazione in meno tempo di cima a parete rispetto al SAC quando entrambi vengono applicati a attività di azione discreta. Il tempo di allenamento di SAC è più lungo a causa del calcolo dei gradienti per più reti, della regolazione della temperatura per l'entropia e del campionamento da tamponi di riproduzione che possono richiedere dimensioni batch più grandi.
5. I documenti di ricerca e le implementazioni mostrano che le sessioni di allenamento SAC in ambienti come Reacher-V2 (un ambiente di palestra OpenAi di controllo continuo) tendono a durare considerevolmente più a lungo nei tempi di calcolo rispetto alle corse DQN in compiti discreti come i giochi Atari o la cartpole, perché SAC allena sia la politica che le reti di valore più intensamente per iterazione.
6. I parametri di riferimento empirici illustrano che in ambienti come i compiti di controllo continuo Mujoco di Openai Gym, è preferito la SAC nonostante i tempi di allenamento più lunghi perché raggiunge politiche di qualità superiore e una migliore generalizzazione. Al contrario, per ambienti di controllo discreti più semplici, DQN spesso si allena più velocemente e raggiunge le prestazioni accettabili più rapidamente a causa della sua semplicità di progettazione.
In sintesi, per gli ambienti di palestra Openai:
- DQN è in genere più veloce da allenarsi per fase e richiede meno risorse computazionali per spazi d'azione discreti.
- SAC richiede tempi di allenamento più lunghi a causa delle sue doppie network Q, dell'apprendimento delle politiche stocastiche e della massimizzazione dell'entropia, ma spesso produce politiche più forti, specialmente nei settori di azione continui.
-Il SAC potrebbe aver bisogno di più passaggi di addestramento e tempo da parete rispetto al DQN quando applicato ad ambienti comparabili, ma raggiunge una migliore robustezza politica e compromessi di esplorazione.
- La scelta tra i due dipende dalle caratteristiche ambientali (azioni continue vs. discrete), robustezza politica desiderata e budget computazionale.