JAX에서 PrealLocation을 비활성화하면 몇 가지 이점이 있지만 몇 가지 단점도 소개됩니다. 주요 장점은 다음과 같습니다.
1. 메모리 사용 감소 : PrealLocation을 비활성화함으로써 JAX는 큰 부분을 선불로 보일하기보다는 필요에 따라 GPU 메모리를 할당합니다. 이것은 프로그램이 시작될 때 발생할 수있는 메모리 외 (OOM) 오류의 가능성을 줄이기 때문에 제한된 GPU 리소스로 작업 할 때 특히 유익 할 수 있습니다 [1] [3].
2. 다른 패키지의 유연성 : PrealLocation 비활성화는 JAX 작업을 사용하는 다른 패키지의 기능을 사용할 때 유용 할 수 있습니다. 이 패키지에 메모리 요구 사항이나 동작이 다른 경우 필요할 수있는보다 역동적 인 메모리 관리를 허용합니다 [2].
3. 인종 조건 회피 : 여러 JAX 프로세스가 GPU를 공유하는 시나리오에서는 메모리가 경쟁 조건으로 이어질 수 있습니다. PrealLocation을 비활성화하면 수요에 메모리를 할당하여 프로세스 간의 충돌을 줄임으로써 이러한 문제를 피할 수 있습니다 [9].
그러나 PrealLocation을 비활성화하면 GPU 메모리 조각화의 위험이 증가하여 프로그램이 사용 가능한 GPU 메모리의 대부분을 사용하는 경우 OOM 오류로 이어질 수 있습니다 [1] [3]. 또한 동적 할당은 Preallocation에 비해 더 많은 오버 헤드를 소개 할 수 있으며 특정 시나리오에서 성능에 잠재적으로 영향을 미칩니다.
인용 :[1] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[2] https://github.com/jax-ml/jax/discussions/21962
[3] https://kolonist26-jax-kr.readthedocs.io/en/latest/gpu_memory_allocation.html
[4] https://stackoverflow.com/questions/73322760/jax-gpu-memory-usage-even-with-cpu-allocation
[5] https://www.jan-ebert.com/blog/jax-intro.html
[6] https://docs.nvidia.com/deeplearning/dali/user-guide/docs/advanccics_performance_tuning.html
[7] https://docs.jax.dev/en/latest/building_on_jax.html
[8] https://github.com/jax-ml/jax/discussions/19014
[9] https://github.com/google/jax/issues/4310
[10] https://docs.jax.dev/en/latest/faq.html
[11] https://stackoverflow.com/questions/69923009/gpu-and-jax-performance-mysteries