`jax.checkpoint` (`jax.remat '이라고도 함)을 통해 구현 된 Jax의 그라디언트 체크 포인팅은 자동 차별화의 순방향 패스 중에 저장되는 중간 값을 제어하여 메모리 사용을 관리하는 데 도움이됩니다. 기본적으로 JAX는 모든 중간 값 (잔차)을 저장하여 뒤로 패스 중에 재사용을 저장하여 특히 메모리 액세스 비용이 비싼 하드웨어 가속기에서 메모리 비용이 높아질 수 있습니다 [1] [3].
그라디언트 체크 포인팅 메커니즘 :
1. rematerialization 전략 :`jax.checkpoint '는 모든 중간체를 저장하는 대신 일부 중간체를 후진 패스 동안 재조정 (rematerialized) 할 수 있도록합니다. 이 접근법은 메모리 사용량을 줄이지 만 계산 시간을 증가시킵니다 [1] [3].
2. 메모리 감소 : 체크 포인트가 역전 중에 메모리의 필요성을 완전히 제거하지는 않지만 (그라디언트는 여전히 중간 값에 대한 메모리가 필요하므로) 특정 중간체의 저장을 피함으로써 피크 메모리 사용을 줄일 수 있습니다 [8]. 그러나 실제 메모리 절약은 계산 그래프 내에 체크 포인팅이 어떻게 적용되는지에 따라 다릅니다.
3. 메모리 조각화 감소 :`jax.checkpoint '는 주로 메모리 조각화를 직접 해결하기보다는 피크 메모리 사용을 줄이는 것을 목표로하지만, 체크 포인팅을 효율적으로 사용하면 메모리 할당 패턴을 관리하는 데 도움이 될 수 있습니다. 중간체가 저장되고 재 계산 될 때 제어함으로써, 전체 메모리 발자국을 줄이고 빈번한 할당 및 거래의 필요성을 최소화함으로써 간접적으로 단편화를 완화 할 수있다 [7].
요약하면, JAX의 그라디언트 체크 포인팅은 주로 중간체를 제거하여 피크 메모리 사용을 줄이는 것을 목표로하지만, 메모리 할당 패턴을 최적화하여 단편화를 완화하는 데 도움이되는 더 나은 메모리 관리 관행에 간접적으로 기여할 수 있습니다. 그러나 일괄 처리 및 메모리 사용 모니터링과 같은 다른 전략을 통해 메모리 조각화의 직접적인 감소가보다 효과적으로 달성됩니다 [7].
인용 :[1] https://docs.jax.dev/en/latest/gradient-checkpointing.html
[2] https://discuss.pytorch.org/t/gradient-checkpointing-and-its-effect-on-memory-and-runtime/198437
[3] https://docs.jax.dev/en/latest/_autosummary/jax.checkpoint.html
[4] https://github.com/google/jax/discussions/20252
[5] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[6] https://discuss.pytorch.org/t/gradient-checkpointing-does-not-reduce-memory-usage/71421
[7] https://app.studyraid.com/en/read/11969/381958/memory-management-best-practices
[8] https://github.com/google/jax/issues/19822