Dalam JAX, kesalahan out-of-memory (OOM) dapat terjadi karena beberapa penyebab umum:
1. Preallokasi memori GPU: JAX Preallocates 75% dari total memori GPU secara default ketika operasi JAX pertama dijalankan. Ini dapat menyebabkan kesalahan OOM jika sistem tidak memiliki memori yang cukup. Untuk mengurangi ini, Anda dapat menyesuaikan fraksi prealokasi menggunakan `xla_python_client_mem_fraction` variabel atau nonaktifkan preallocation dengan mengatur` xla_python_client_peallocate = false` [1] [3].
2. Menjalankan beberapa proses JAX secara bersamaan: Ketika beberapa proses JAX dijalankan pada saat yang sama, mereka dapat secara kolektif mengkonsumsi lebih banyak memori daripada yang tersedia, yang mengarah ke kesalahan OOM. Menyesuaikan fraksi memori untuk setiap proses atau menonaktifkan preallokasi dapat membantu mengelola masalah ini [1] [3].
3. Menjalankan Jax dan GPU TensorFlow secara bersamaan: Baik Jax dan Tensorflow preallococed memori GPU secara default, yang dapat menyebabkan konflik dan menyebabkan kesalahan OOM. Menggunakan TensorFlow CPU saja untuk tugas-tugas tertentu atau menyesuaikan alokasi memori dapat menyelesaikan ini [1] [3].
4. Versi CUDA dan CUDNN yang tidak kompatibel: Kadang -kadang, kesalahan OOM mungkin tidak berhubungan langsung dengan memori tetapi bisa karena ketidakcocokan versi antara CUDA dan CUDNN, yang dapat menyebabkan kesalahan internal yang muncul sebagai masalah memori [5].
5. Kebocoran memori atau penggunaan memori yang berlebihan: Program JAX dapat mengakumulasi memori dari waktu ke waktu jika array tidak dikelola dengan benar. Menggunakan Profiler Memori Perangkat JAX dapat membantu mengidentifikasi masalah tersebut [7].
Kutipan:[1] https://kolonist26-jax-kr.readthedocs.io/en/latest/gpu_memory_allocation.html
[2] https://dzone.com/articles/root-causes-of-oom-issues-in-java-containers
[3] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[4] https://www.ibm.com/support/pages/4-general-reasons-outofmemoryerror-errors-and-how-not-get-fooled
[5] https://stackoverflow.com/questions/77065313/jax-produces-memory-error-for-simple-pogram-on-gpu
[6] https://stackoverflow.com/questions/15462192/jax-ws-oaphandler-with-garge-sessages-outofmemoryError
[7] https://docs.jax.dev/en/latest/device_memory_profiling.html
[8] https://github.com/google/jax/issues/3687
[9] https://discourse.pymc.io/t/out-of-memory-when-using-pm-ampling-jax-sample-backjax-nuts/11544