Kako Jaxovo gradientno kontrolno točko pomaga zmanjšati razdrobljenost pomnilnika

Mehanizem za kontrolno kazanje naklona:

1. Strategija rematerilizacije: Namesto da bi shranjevali vse vmesne snovi, `Jax.CheckPoint` omogoča, da se nekateri vmesniki med prehodom zaostali (preoblikovajo) med prehodom. Ta pristop zmanjšuje porabo pomnilnika, vendar poveča čas izračuna [1] [3].

2. Zmanjšanje pomnilnika: Medtem ko kontrolno usmerjanje v celoti ne odpravi potrebe po pomnilniku med povratno zaščito (ker gradienti še vedno potrebujejo pomnilnik za vmesne vrednosti), lahko zmanjša največjo porabo pomnilnika, tako da se izogne ​​shranjevanju nekaterih intermediatov [8]. Vendar so dejanski prihranki pomnilnika odvisni od tega, kako se v grafikonu izračuna uporabi kontrolna točka.

3. Zmanjšanje fragmentacije pomnilnika: Čeprav `jax.CheckPoint` namerava predvsem zmanjšati uporabo največjega pomnilnika, namesto da bi neposredno obravnavali fragmentacijo pomnilnika, lahko učinkovita uporaba kontrolnega toka pomaga pri upravljanju vzorcev dodelitve pomnilnika. Z nadzorom, ko so vmesni shranjeni in preračunani, lahko posredno ublaži fragmentacijo z zmanjšanjem celotnega pomnilniškega odtisa in potencialno zmanjša potrebo po pogostih dodelitvah in delih [7].

Če povzamemo, medtem ko je Jaxovo gradientno kontrolno usmerjanje namenjeno predvsem zmanjšanju uporabe največjega pomnilnika z preoblikovanjem intermediatov, lahko posredno prispeva k boljšim praksam upravljanja pomnilnika, ki pomagajo ublažiti razdrobljenost z optimizacijo vzorcev dodelitve pomnilnika. Vendar pa je neposredno zmanjšanje razdrobljenosti pomnilnika učinkoviteje doseženo z drugimi strategijami, kot so serilne operacije in spremljanje porabe pomnilnika [7].