Jax, bellek kullanımını optimize eden ve parçalanmayı en aza indiren çeşitli stratejilerle TPU'lar üzerindeki bellek parçalanmasını ele alır. İşte bazı önemli yaklaşımlar:
1. Bellek Hiyerarşisi Kullanımı: TPU'lar, yüksek bant genişliği belleği (HBM), vektör belleği, skaler bellek ve akümülatör belleği dahil olmak üzere sofistike bir bellek hiyerarşisine sahiptir. JAX, bu bellek seviyeleri arasındaki transferleri en aza indirmek için verileri yapılandırarak hesaplamaları optimize eder, bu da verimli veri yerleştirme ve erişim sağlayarak bellek parçalanmasını azaltmaya yardımcı olur [1].
2. Verimli Veri Düzeni: JAX, veri düzenlerini TPU dostu boyutlarla eşleştirecek şekilde optimize etmeyi teşvik eder, genellikle TPU'nun optimal işlem boyutlarına uymak için boyutları dolgulama. Bu hizalama, verilerin TPU tarafından verimli bir şekilde ele alınan parçalarda işlenmesini sağlayarak bellek atıklarının ve parçalanmanın azaltılmasına yardımcı olur [1].
3. Öncelik ve arabelleğe alınma: Verileri önceden yazma ve dairesel veya çift tamponlama gibi teknikler, bellek erişim gecikmesini gizlemeye ve belleği daha verimli yönetmeye yardımcı olabilir. Ön yazma, gerektiğinde verilerin mevcut olmasını sağlar ve gecikmiş tahsislere bağlı bellek parçalanma olasılığını azaltır [1].
4. Kırpma ve paralel işleme: JAX, verimli paralel işlemeye izin veren TPU çekirdekleri arasında parçalanmayı destekler. Veri ve hesaplamaları birden çok çekirdeğe bölerek JAX, belleği daha etkili bir şekilde yönetebilir ve yükü dağıtarak parçalanma riskini azaltabilir [1].
5. Cihaz Bellek Profili oluşturma: JAX, parçalanma da dahil olmak üzere bellekle ilgili sorunları tanımlamaya ve hata ayıklamaya yardımcı olabilecek cihaz bellek kullanımını profilleme için araçlar sağlar. Hafızanın nasıl kullanıldığını anlayarak, geliştiriciler parçalanmayı en aza indirmek ve genel performansı artırmak için kodlarını optimize edebilirler [5].
Genel olarak, Jax'ın TPU'lar üzerinde bellek parçalanmasını ele alma yaklaşımı, veri düzenlerini optimize etmenin, TPU'nun bellek hiyerarşisini verimli bir şekilde kullanmanın ve gelişmiş paralel işleme tekniklerini kullanmanın bir kombinasyonunu içerir.
Alıntılar:[1] https://app.studyraid.com/en/read/11969/381956/tpu-compution-strategies
[2] https://kolonist26-jax-kr.readthedocs.io/en/latest/gpu_memory_allocation.html
[3] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[4] https://www.datacamp.com/tutorial/combine-google-gemma-with-tpus-fine-and-run-simerence-with-lanced-polance-and-speed
[5] https://docs.jax.dev/en/latest/device_memory_profiling.html
[6] https://github.com/google/jax/discussions/16177
[7] https://jax.readthedocs.io/en/latest/pallas/tpu/distibuted.html
[8] https://nbi.ku.dk/english/theses/masters-theses/albert-alonsode-la-fuente/albert_alonso_de_la_fuente.pdf