Sistem penggunaan kembali memori Jax dirancang untuk mengoptimalkan alokasi memori dan mengurangi alokasi memori yang tidak perlu, terutama ketika bekerja dengan perhitungan skala besar pada perangkat akselerator seperti GPU dan TPU. Begini cara kerjanya:
1. Pelacakan Lifetimes: Jax melacak masa hidup array untuk menentukan kapan memori dapat digunakan kembali dengan aman. Ini berarti bahwa begitu array tidak lagi diperlukan, ingatannya dapat digunakan kembali untuk operasi lain.
2. Mekanisme penggunaan kembali memori: Saat melakukan perhitungan, Jax mencoba menggunakan kembali blok memori dari array menengah yang tidak lagi diperlukan. Misalnya, jika array menengah digunakan dalam perhitungan dan kemudian dibuang, Jax akan mencoba menggunakan kembali memori untuk operasi selanjutnya. Ini sangat efektif saat menggunakan `jax.jit` untuk mengkompilasi fungsi, karena membantu meminimalkan alokasi memori selama perhitungan berulang.
3. Donasi Buffer: Aspek lain dari penggunaan kembali memori dalam JAX adalah donasi buffer. Ini melibatkan menentukan bahwa buffer input tertentu dapat digunakan kembali untuk menahan nilai output jika mereka cocok dengan bentuk dan jenis. Ini dicapai dengan menggunakan parameter `donate_argnums` dalam fungsi seperti` jax.pmap` atau `jax.jit`. Dengan menyumbangkan buffer, JAX dapat menghindari mengalokasikan memori baru untuk output, sehingga mengurangi penggunaan memori secara keseluruhan.
4. Alokasi Memori Perangkat: Jax mengalokasikan memori pada perangkat target (mis., GPU atau TPU) daripada pada RAM host. Strategi alokasi ini dioptimalkan untuk meminimalkan fragmentasi memori dan mengurangi overhead alokasi, terutama ketika preallocating memori untuk operasi.
Secara keseluruhan, sistem penggunaan kembali memori Jax membantu dalam mengoptimalkan kinerja dengan meminimalkan alokasi memori yang tidak perlu dan memastikan penggunaan memori perangkat yang efisien, yang sangat penting untuk perhitungan skala besar.
Kutipan:[1] https://app.studyraid.com/en/read/11969/381958/memory-management-best-practices
[2] https://docs.jax.dev/en/latest/faq.html
[3] https://stackoverflow.com/questions/74628777/why-does-gpu-memory-crease-when-recreating-and-reassigning-a-jax-numpy-array-t
[4] https://github.com/google/jax/discussions/8056
[5] https://docs.jax.dev/en/latest/device_memory_profiling.html
[6] https://news.ycombinator.com/item?id=29128998
[7] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[8] https://www.kaggle.com/code/goktugguvercin/automatic-differentiation-in-jax