Jax uporablja več tehnik za zmanjšanje razdrobljenosti pomnilnika med delovanjem na TPU:
1. Uporaba hierarhije pomnilnika: TPUS ima prefinjeno hierarhijo pomnilnika, vključno z visokim pomnilnikom pasovne širine (HBM), vektorskim pomnilnikom, skalarnim pomnilnikom in pomnilnikom akumulatorja. Jax optimizira izračune s strukturiranjem podatkov, da zmanjša prenose med temi pomnilniškimi nivoji, kar pomaga zmanjšati fragmentacijo z zagotavljanjem učinkovite uporabe pomnilnika [3] [5].
2. Strategije prednastavitve in pufranja: prednastavitve podatkov skriva zamudo pri dostopu do pomnilnika, medtem ko se za pretakanje podatkov in neprekinjeno računanje uporabljajo tehnike, kot so krožni medpomnilniki in dvojno pufer. Te strategije pomagajo učinkovitejše upravljanje pomnilnika, kar zmanjšuje verjetnost razdrobljenosti [3].
3. Sharding in vzporedna obdelava: Jax uporablja Sharding za razdelitev izračunov na jedri TPU, kar pomaga učinkovitejše upravljanje pomnilnika z distribucijo delovne obremenitve. Ta pristop zagotavlja, da se spomin dodeli in obravnava na način, ki zmanjšuje razdrobljenost [3] [7].
4. Učinkovita postavitev podatkov: Jax optimizira postavitve podatkov, da se ujema z velikosti TPU-jev, ki so pogosto oblazinjene dimenzije za množice optimalnih velikosti (npr. 128). To zagotavlja, da je pomnilnik dodeljen v sosednjih blokih, kar zmanjšuje fragmentacijo [3] [5].
5. Kompilacija in ponovna uporaba pomnilnika JIT: Mehanizmi kompilacije in ponovne uporabe JAX-a (JIT) pomagajo zmanjšati nepotrebne dodelitve. Z ponovno uporabo pomnilniških blokov, kadar je to mogoče, Jax zmanjša pogostost novih dodelitev, kar lahko privede do razdrobljenosti [1] [3].
Te tehnike skupaj prispevajo k zmanjšanju fragmentacije pomnilnika in optimizaciji zmogljivosti na TPU.
Navedbe:[1] https://app.studyraid.com/sl/read/11969/381958/memory-management-best-practices
[2] https://www.datacamp.com/tutorial/combine-google-gemma-with-tpus-fine-tune-in-run-infference-with-enhanced-performance-and-inpeed
[3] https://app.studyraid.com/sl/read/11969/381956/tpu-computation-trategies
[4] https://stackoverflow.com/questions/60871/how-to-solve-memory-fragmentacija
[5] https://cloud.google.com/tpu/docs/performance-guide
[6] https://www.kaggle.com/code/Matthewdwatson/gemma-2-tpu-fine-cening
[7] https://docs.jax.dev/sl/latest/pallas/tpu/distributed.html
[8] https://jax.readthedocs.io/sl/latest/gpu_memory_allocation.html