JAX는 메모리 사용량을 최적화하고 단편화를 최소화하는 몇 가지 전략을 통해 TPU의 메모리 조각화를 처리합니다. 몇 가지 주요 접근 방식은 다음과 같습니다.
1. 메모리 계층 구조 활용 : TPU는 높은 대역폭 메모리 (HBM), 벡터 메모리, 스칼라 메모리 및 축적기 메모리를 포함한 정교한 메모리 계층을 가지고 있습니다. JAX는 데이터를 구성하여 이러한 메모리 레벨 간의 전송을 최소화하여 계산을 최적화하여 효율적인 데이터 배치 및 액세스를 보장하여 메모리 조각화를 줄이는 데 도움이됩니다 [1].
2. 효율적인 데이터 레이아웃 : JAX는 TPU 친화적 인 크기에 맞게 데이터 레이아웃을 최적화하는 것을 권장합니다. 이 정렬은 TPU에 의해 효율적으로 처리되는 청크에서 데이터가 처리되도록하여 메모리 폐기물 및 조각화를 줄이는 데 도움이됩니다 [1].
3. 프리 페치 및 버퍼링 : 프리 페치 및 원형 또는 이중 버퍼링을 사용하는 기술은 메모리 액세스 대기 시간을 숨기고 메모리를보다 효율적으로 관리하는 데 도움이 될 수 있습니다. 프리 페치는 필요할 때 데이터를 사용할 수 있도록하여 할당 지연으로 인해 메모리 조각화 가능성을 줄입니다 [1].
4. 샤딩 및 병렬 처리 : JAX는 TPU 코어의 샤드 계산을 지원하여 효율적인 병렬 처리를 가능하게합니다. Jax는 여러 코어에서 데이터와 계산을 분할하여 메모리를보다 효과적으로 관리하여 부하를 분배하여 단편화 위험을 줄일 수 있습니다 [1].
5. 장치 메모리 프로파일 링 : JAX는 단편화를 포함한 메모리 관련 문제를 식별하고 디버그하는 데 도움이 될 수있는 장치 메모리 사용을위한 도구를 제공합니다. 메모리 사용 방법을 이해함으로써 개발자는 코드를 최적화하여 조각화를 최소화하고 전반적인 성능을 향상시킬 수 있습니다 [5].
전반적으로, TPU에서 메모리 조각화를 처리하는 JAX의 접근 방식에는 데이터 레이아웃 최적화, TPU의 메모리 계층을 효율적으로 활용하고 고급 병렬 처리 기술을 사용하는 조합이 포함됩니다.
인용 :[1] https://app.studyraid.com/en/read/11969/381956/tpu-comcomputation-srtrateings
[2] https://kolonist26-jax-kr.readthedocs.io/en/latest/gpu_memory_allocation.html
[3] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[4] https://www.datacamp.com/tutorial/combine-google-gemma-with-tpus-fine-tune-and-run-inference-with-enhanced-performance and-speed
[5] https://docs.jax.dev/en/latest/device_memory_profiling.html
[6] https://github.com/google/jax/discussions/16177
[7] https://jax.readthedocs.io/en/latest/pallas/tpu/distributed.html
[8] https://nbi.ku.dk/english/theses/mas