Hệ thống tái sử dụng bộ nhớ của JAX được thiết kế để tối ưu hóa phân bổ bộ nhớ và giảm phân bổ bộ nhớ không cần thiết, đặc biệt là khi làm việc với các tính toán quy mô lớn trên các thiết bị gia tốc như GPU và TPU. Đây là cách nó hoạt động:
1. Theo dõi tuổi thọ của mảng: JAX theo dõi tuổi thọ của các mảng để xác định khi nào bộ nhớ có thể được sử dụng lại một cách an toàn. Điều này có nghĩa là một khi một mảng không còn cần thiết, bộ nhớ của nó có thể được sử dụng lại cho các hoạt động khác.
2. Cơ chế tái sử dụng bộ nhớ: Khi thực hiện tính toán, JAX cố gắng sử dụng lại các khối bộ nhớ từ các mảng trung gian không còn cần thiết. Ví dụ: nếu một mảng trung gian được sử dụng trong tính toán và sau đó bị loại bỏ, JAX sẽ cố gắng sử dụng lại bộ nhớ của nó cho các hoạt động tiếp theo. Điều này đặc biệt hiệu quả khi sử dụng `jax.jit` để biên dịch các chức năng, vì nó giúp giảm thiểu phân bổ bộ nhớ trong các tính toán lặp lại.
3. Đóng góp bộ đệm: Một khía cạnh khác của tái sử dụng bộ nhớ trong JAX là quyên góp bộ đệm. Điều này liên quan đến việc chỉ định rằng một số bộ đệm đầu vào nhất định có thể được sử dụng lại để giữ các giá trị đầu ra nếu chúng khớp với hình dạng và loại. Điều này đạt được bằng cách sử dụng tham số `donate_argnums` trong các chức năng như` jax.pmap` hoặc `jax.jit`. Bằng cách quyên góp bộ đệm, JAX có thể tránh phân bổ bộ nhớ mới cho đầu ra, do đó giảm sử dụng bộ nhớ tổng thể.
4. Phân bổ bộ nhớ thiết bị: JAX phân bổ bộ nhớ trên thiết bị đích (ví dụ: GPU hoặc TPU) thay vì trên RAM máy chủ. Chiến lược phân bổ này được tối ưu hóa để giảm thiểu phân mảnh bộ nhớ và giảm chi phí phân bổ, đặc biệt là khi phân bổ bộ nhớ cho các hoạt động.
Nhìn chung, hệ thống tái sử dụng bộ nhớ của JAX giúp tối ưu hóa hiệu suất bằng cách giảm thiểu phân bổ bộ nhớ không cần thiết và đảm bảo sử dụng bộ nhớ thiết bị hiệu quả, điều này rất quan trọng đối với các tính toán quy mô lớn.
Trích dẫn:[1)
[2] https://docs.jax.dev/en/latest/faq.html
[3] https://stackoverflow.com/questions/74628777/why-does-gpu-memory-increase-when-recreating-and-reassigning-a-jax-numpy-array-t
[4] https://github.com/google/jax/discussions/8056
[5] https://docs.jax.dev/en/latest/device_memory_profiling.html
[6] https://news.ycombinator.com/item?id=29128998
[7] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[8] https://www.kaggle.com/code/goktugguvercin/automatic-differentiation-in-jax