Jax gradienta kontrolpunkts, kas ieviests caur `jax.Checkpoint` (pazīstams arī kā` jax.remat`), palīdz pārvaldīt atmiņas izmantošanu, kontrolējot, kuras starpposma vērtības tiek saglabātas automātiskās diferenciācijas priekšējās caurlaides laikā. Pēc noklusējuma JAX saglabā visas starpposma vērtības (atlikumus), lai tās atkārtoti izmantotu atpakaļejošās caurlaides laikā, kas var izraisīt augstas atmiņas izmaksas, it īpaši aparatūras paātrinātājiem, kur atmiņas piekļuve ir dārga [1] [3].
Gradienta kontrolpoinēšanas mehānisms:
1. Rematerializācijas stratēģija: tā vietā, lai saglabātu visus starpproduktus, `Jax.CheckPoint` ļauj atpakaļ atlikušās caurlaidības laikā pārņemt dažus starpproduktus (rematerializēt). Šī pieeja samazina atmiņas izmantošanu, bet palielina aprēķināšanas laiku [1] [3].
2. Atmiņas samazināšana: Lai gan kontrolpunktu noteikšana pilnībā nenovērš atmiņas nepieciešamību atpakaļizplūšanas laikā (tā kā gradientiem joprojām ir nepieciešama atmiņa par vidējām vērtībām), tas var samazināt maksimālo atmiņas izmantošanu, izvairoties no noteiktu starpproduktu glabāšanas [8]. Tomēr faktiskie atmiņas ietaupījumi ir atkarīgi no tā, kā aprēķina diagrammā tiek izmantota kontrolpunkts.
3. Atmiņas sadrumstalotības samazināšana: lai arī `jax.Checkpoint` galvenokārt ir paredzēts samazināt atmiņas lietojumu maksimālā lietojumā, nevis tieši pievērsties atmiņas sadrumstalotībai, efektīva kontrolpunktu izmantošana var palīdzēt pārvaldīt atmiņas sadales modeļus. Kontrolējot, kad starpprodukti tiek glabāti un pārskaitīti, tas var netieši mazināt sadrumstalotību, samazinot kopējo atmiņas nospiedumu un potenciāli samazinot nepieciešamību pēc biežiem sadalījumiem un darījumiem [7].
Rezumējot, lai gan Jax gradienta kontrolpunktu noteikšana galvenokārt ir vērsta uz maksimālās atmiņas izmantošanas samazināšanu, rematerializējot starpproduktus, tas var netieši veicināt labāku atmiņas pārvaldības praksi, kas palīdz mazināt sadrumstalotību, optimizējot atmiņas sadales modeļus. Tomēr tieša atmiņas sadrumstalotības samazināšana tiek panākta efektīvāk, izmantojot citas stratēģijas, piemēram, pakešu operācijas un atmiņas izmantošanas uzraudzību [7].
Atsauces:[1] https://docs.jax.dev/en/latest/gradient-checkpointing.html
[2] https://discuss.pytorch.org/t/gradient-checkpointing-and-its-efect-on-memory-and-runtime/198437
[3] https://docs.jax.dev/en/latest/_autosummary/jax.checkpoint.html
[4] https://github.com/google/jax/discussions/20252
[5] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[6] https://discuss.pytorch.org/t/gradient-checkpointing-does-not-reduce-memory-usage/71421
.
[8] https://github.com/google/jax/issues/19822