JAXovo kontrolní kontrolu gradientu, implementované prostřednictvím `jax.checkpoint` (také známé jako` jax.remat`), pomáhá spravovat využití paměti kontrolou, které střední hodnoty jsou uloženy během dopředného průchodu automatické diferenciace. Ve výchozím nastavení Jax ukládá všechny střední hodnoty (zbytky), aby je znovu použily během zpětného průchodu, což může vést k vysokým nákladům na paměť, zejména u hardwarových akcelerátorů, kde je přístup paměti drahý [1] [3].
Mechanismus kontrolního bodu gradientu:
1. Strategie rematerializace: Namísto skladování všech meziproduktů, „jax.checkpoint“ umožňuje během zpětného průchodu přepočítávat některé meziprodukty (rematerializované). Tento přístup snižuje využití paměti, ale zvyšuje dobu výpočtu [1] [3].
2. Snížení paměti: Zatímco kontrolní bodování nevylučuje potřebu paměti během backpropagace zcela (protože gradienty stále vyžadují paměť pro střední hodnoty), může snížit využití maximální paměti zabráněním ukládání některých meziproduktů [8]. Skutečné úspory paměti však závisí na tom, jak je kontrolní boduta aplikováno v grafu výpočtu.
3. Snížení fragmentace paměti: Ačkoli `jax.checkpoint` primárně cílí spíše snižování využití maximální paměti než přímé řešení fragmentace paměti, může efektivní využití kontrolního bodu pomoci zvládnout vzorce přidělování paměti. Řízením, když jsou meziprodukty uloženy a přepočítány, může nepřímo zmírnit fragmentaci snížením celkové paměti a potenciálně minimalizovat potřebu častých alokací a deallokací [7].
Stručně řečeno, zatímco kontrolní stanovisko Jaxu je primárně zaměřeno na snížení využití maximální paměti rematerializací meziproduktů, může nepřímo přispět k lepším postupům pro správu paměti, které pomáhají zmírnit fragmentaci optimalizací vzorců alokace paměti. Přímé snížení fragmentace paměti je však účinněji dosaženo prostřednictvím jiných strategií, jako jsou operace dávkování a monitorování využití paměti [7].
Citace:[1] https://docs.jax.dev/en/latest/gradient-checkpoing.html
[2] https://discuss.pytorch.org/t/gradient-checkpointing-and-its-effect-on-Memory-and-runtime/198437
[3] https://docs.jax.dev/en/latest/_autosummary/jax.checkpoint.html
[4] https://github.com/google/jax/discussions/20252
[5] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[6] https://discuss.pytorch.org/t/gradient-checkpointing-dot-reduce-Memory-Usage/71421
[7] https://app.studyraid.com/en/read/11969/381958/Memory-nagement-Pest-Practices
[8] https://github.com/google/jax/issues/19822