JAX에서는 몇 가지 일반적인 원인으로 인해 메모리 외 (OOM) 오류가 발생할 수 있습니다.
1. GPU 메모리의 Preallocation : JAX는 첫 번째 JAX 작업이 실행될 때 기본적으로 총 GPU 메모리의 75%를 기본적으로 PREALLOCATED로집니다. 시스템에 메모리가 충분하지 않은 경우 OOM 오류로 이어질 수 있습니다. 이를 완화하려면`xla_python_client_mem_fraction` 환경 변수를 사용하여 Preallocation fraction을 조정하거나`xla_python_client_preallocate = false` [1] [3]을 설정하여 PrealLocation을 비활성화 할 수 있습니다.
2. 여러 JAX 프로세스를 동시에 실행 : 여러 JAX 프로세스가 동시에 실행되면 사용 가능한 것보다 더 많은 메모리를 소비하여 OOM 오류가 발생할 수 있습니다. 각 프로세스에 대한 메모리 분율을 조정하거나 PrealLocation을 비활성화하면이 문제를 관리하는 데 도움이 될 수 있습니다 [1] [3].
3. JAX 및 GPU 텐서 플로우를 동시에 실행 : JAX와 Tensorflow는 기본적으로 GPU 메모리를 Prealloce로, 이는 충돌을 일으키고 OOM 오류로 이어질 수 있습니다. 특정 작업에 CPU 전용 텐서 플로우를 사용하거나 메모리 할당 조정이이를 해결할 수 있습니다 [1] [3].
4. 호환되지 않는 CUDA 및 CUDNN 버전 : 때로는 OOM 오류가 메모리와 직접 관련이 없지만 CUDA와 CUDNN 간의 버전 불일치로 인한 것일 수 있으며, 이는 메모리 문제로 나타날 내부 오류를 유발할 수 있습니다 [5].
5. 메모리 누출 또는 과도한 메모리 사용 : JAX 프로그램은 배열이 제대로 관리되지 않으면 시간이 지남에 따라 메모리를 축적 할 수 있습니다. JAX 장치 메모리 프로파일 러를 사용하면 이러한 문제를 식별하는 데 도움이 될 수 있습니다 [7].
인용 :[1] https://kolonist26-jax-kr.readthedocs.io/en/latest/gpu_memory_allocation.html
[2] https://dzone.com/articles/root-causes-of-oom-issues-in-java-crontainers
[3] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[4] https://www.ibm.com/support/pages/4-general-rocessingofmemoryerror-errors-and-/how-pooled
[5] https://stackoverflow.com/questions/77065313/jax-produces-memory-error-for-program-on-gpu
[6] https://stackoverflow.com/questions/15462192/jax-ws-soaphandler-with-large-messages outofmemoryerRor
[7] https://docs.jax.dev/en/latest/device_memory_profiling.html
[8] https://github.com/google/jax/issues/3687
[9] https://discourse.pymc.io/t/out-o-of-memory-using-pm-s--sampling-jax-blackjax-nuts/11544