Checkpointing -ul gradient al lui JAX, implementat prin `JAX.CheckPoint` (cunoscut și sub numele de` JAX.REMAT`), ajută la gestionarea utilizării memoriei prin controlul valorilor intermediare sunt stocate în timpul trecerii înainte a diferențierii automate. În mod implicit, JAX stochează toate valorile intermediare (reziduuri) pentru a le reutiliza în timpul trecerii înapoi, ceea ce poate duce la costuri mari de memorie, în special pe acceleratoarele hardware, unde accesul la memorie este scump [1] [3].
Mecanismul de control al gradientului:
1. Strategia de remediere: în loc să stocheze toți intermediarii, `JAX.CheckPoint` permite recomputarea unor intermediari (remediați) în timpul trecerii înapoi. Această abordare reduce utilizarea memoriei, dar crește timpul de calcul [1] [3].
2. Reducerea memoriei: în timp ce punctul de control nu elimină necesitatea memoriei în timpul backpropagationului în întregime (întrucât gradienții necesită încă memorie pentru valori intermediare), poate reduce utilizarea maximă a memoriei prin evitarea stocării anumitor intermediari [8]. Cu toate acestea, economiile reale de memorie depind de modul în care se aplică punctul de control în graficul de calcul.
3. Reducerea fragmentării memoriei: deși `JAX.CheckPoint` vizează în primul rând reducerea utilizării maxime a memoriei, mai degrabă decât abordarea directă a fragmentării de memorie, utilizarea eficientă a punctelor de control poate ajuta la gestionarea modelelor de alocare a memoriei. Controlând când intermediarii sunt depozitați și recomputați, poate atenua indirect fragmentarea prin reducerea amprentei generale a memoriei și, probabil, minimizarea necesității alocărilor și alocărilor frecvente [7].
În rezumat, în timp ce punctul de control al gradientului JAX are ca scop în primul rând reducerea utilizării maxime a memoriei prin contribuția intermediarelor, acesta poate contribui indirect la mai bune practici de gestionare a memoriei care ajută la atenuarea fragmentării prin optimizarea modelelor de alocare a memoriei. Cu toate acestea, reducerea directă a fragmentării memoriei se realizează mai eficient prin alte strategii precum operațiunile de lot și monitorizarea consumului de memorie [7].
Citări:[1] https://docs.jax.dev/en/latest/gradient-checkpointing.html
]
[3] https://docs.jax.dev/en/latest/_autotosummary/jax.checkpoint.html
[4] https://github.com/google/jax/discussions/20252
[5] https://jax.readthedocs.io/en/latest/gpu_memory_alocation.html
[6] https://discuss.pytorch.org/t/gradient-checkpointing-does-not-reduce-memory-usage/71421
[7] https://app.studyraid.com/en/read/11969/381958/memory-management-best-pacts
[8] https://github.com/google/jax/issues/19822