A JAX memória újrafelhasználási rendszerét úgy tervezték, hogy optimalizálja a memóriaelosztást és csökkentse a felesleges memória-elosztásokat, különösen akkor, ha nagyszabású számításokkal dolgozik a gyorsító eszközökön, mint például a GPU-k és a TPU-k. Így működik:
1. A tömb élettartamainak nyomon követése: Jax nyomon követi a tömbök élettartamát, hogy meghatározza, mikor lehet biztonságosan újra felhasználni a memóriát. Ez azt jelenti, hogy ha egy tömbre már nincs szükség, memóriája újra felhasználható más műveletekhez.
2. Memória újrafelhasználási mechanizmus: A számítások elvégzésekor a JAX megpróbálja újra felhasználni a memóriablokkokat a már nem szükséges közbenső tömbökből. Például, ha egy közbenső tömböt használnak egy számításban, majd eldobják, a Jax megpróbálja újra felhasználni memóriáját a későbbi műveletekhez. Ez különösen hatékony, ha a „Jax.jit” funkciók összeállításához használja, mivel ez segít minimalizálni a memória allokációját az ismételt számítások során.
3. Buffer adomány: A memória újrafelhasználásának másik aspektusa a JAX -ben a puffer adományozása. Ez magában foglalja annak meghatározását, hogy bizonyos bemeneti puffereket újra felhasználhatunk a kimeneti értékek megtartása érdekében, ha azok alakban és típusúak. Ezt a „Donate_Argnums` paraméterrel érik el olyan függvényekben, mint a„ Jax.pmap ”vagy a„ Jax.jit ”. A pufferek adományozásával a JAX elkerülheti az új memória kimenetek kiosztását, ezáltal csökkentve az általános memóriafelhasználást.
4. Az eszköz memória allokációja: A JAX a memóriát a céleszközre (például GPU vagy TPU) osztja el, nem pedig a gazdagépen. Ezt az allokációs stratégiát optimalizálják a memória fragmentációjának minimalizálására és az elosztási költségek csökkentésére, különösen akkor, ha a memóriát a műveletekhez prealmezsük.
Összességében a JAX memória újrafelhasználási rendszere elősegíti a teljesítmény optimalizálását azáltal, hogy minimalizálja a felesleges memória-allokációkat és biztosítja az eszközmemória hatékony felhasználását, ami elengedhetetlen a nagyszabású számításokhoz.
Idézetek:[1] https://app.studyraid.com/en/read/11969/381958/memory-management-best-practices
[2] https://docs.jax.dev/en/latest/faq.html
[3] https://stackoverflow.com/questions/74628777/why-does-gpu-memory-increas
[4] https://github.com/google/jax/discussions/8056
[5] https://docs.jax.dev/en/latest/device_memory_profiling.html
[6] https://news.ycombinator.com/item?id=29128998
[7] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[8] https://www.kaggle.com/code/goktugguvercin/automatic-differentiation-in-jax