JAX, TPU'larda çalışırken bellek parçalanmasını en aza indirmek için çeşitli teknikler kullanır:
1. Bellek Hiyerarşisi Kullanımı: TPU'lar, yüksek bant genişliği belleği (HBM), vektör belleği, skaler bellek ve akümülatör belleği dahil olmak üzere sofistike bir bellek hiyerarşisine sahiptir. JAX, bu bellek seviyeleri arasındaki transferleri en aza indirmek için verileri yapılandırarak hesaplamaları optimize eder, bu da etkili bellek kullanımını sağlayarak parçalanmayı azaltmaya yardımcı olur [3] [5].
2. Stratejiler önceden bildirme ve arabelleğe alınma: Verilerin ön bildirimi bellek erişim gecikmesini gizlerken, akış verileri ve sürekli hesaplama için dairesel tamponlar ve çift arabellek gibi teknikler kullanılır. Bu stratejiler, parçalanma olasılığını azaltarak belleğin daha verimli bir şekilde yönetilmesine yardımcı olur [3].
3. Kırpma ve Paralel İşleme: JAX, hesaplamaları TPU çekirdeklerine bölmek için parçalanmayı kullanır, bu da iş yükünü dağıtarak belleğin daha etkili bir şekilde yönetilmesine yardımcı olur. Bu yaklaşım, hafızanın parçalanmayı en aza indirecek şekilde tahsis edilmesini ve dağıtılmasını sağlar [3] [7].
4. Verimli Veri Düzeni: JAX, veri düzenlerini TPU dostu boyutlarla eşleştirecek şekilde optimize eder, genellikle boyutları optimal boyutların katlarına kadar (örn. 128). Bu, belleğin bitişik bloklarda tahsis edilmesini sağlar ve parçalanmayı azaltır [3] [5].
5. JIT derlemesi ve bellek yeniden kullanımı: Jax'ın tam zamanında (JIT) derleme ve bellek yeniden kullanım mekanizmaları gereksiz tahsisleri en aza indirmeye yardımcı olur. Mümkün olduğunda bellek bloklarını tekrar kullanarak JAX, parçalanmaya yol açabilecek yeni tahsis sıklığını azaltır [1] [3].
Bu teknikler toplu olarak bellek parçalanmasını en aza indirmeye ve TPU'lardaki performansı optimize etmeye katkıda bulunur.
Alıntılar:[1] https://app.studyraid.com/en/read/11969/381958/memory-manemation-best-practices
[2] https://www.datacamp.com/tutorial/combine-google-gemma-with-tpus-fine-tun-and-s-with-enhanted-polance-and-speed
[3] https://app.studyraid.com/en/read/11969/381956/tpu-compution-strategies
[4] https://stackoverflow.com/questions/60871/how-to-solves-memory-fragmentation
[5] https://cloud.google.com/tpu/docs/performance-guide
[6] https://www.kaggle.com/code/matthewdwatson/gemma-2-tpu-fine-tuning
[7] https://docs.jax.dev/en/latest/pallas/tpu/distibuted.html
[8] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html