จุดตรวจการไล่ระดับสีของ JAX ที่ใช้งานผ่าน `jax.checkpoint` (หรือที่เรียกว่า` jax.remat`) ช่วยจัดการการใช้หน่วยความจำโดยการควบคุมค่ากลางที่เก็บไว้ในระหว่างการส่งต่อไปข้างหน้าของความแตกต่างอัตโนมัติ โดยค่าเริ่มต้น JAX จะเก็บค่ากลางทั้งหมด (ส่วนที่เหลือ) เพื่อนำกลับมาใช้ใหม่ในระหว่างการผ่านไปข้างหลังซึ่งสามารถนำไปสู่ค่าใช้จ่ายหน่วยความจำสูงโดยเฉพาะอย่างยิ่งในเครื่องเร่งฮาร์ดแวร์ที่การเข้าถึงหน่วยความจำมีราคาแพง [1] [3]
กลไกจุดตรวจสอบการไล่ระดับสี:
1. กลยุทธ์การสร้างใหม่: แทนที่จะจัดเก็บตัวกลางทั้งหมด `jax.checkpoint` ให้ตัวกลางบางตัวสามารถคำนวณใหม่ได้ (rematerialized) ในระหว่างการผ่านย้อนหลัง วิธีนี้จะช่วยลดการใช้หน่วยความจำ แต่เพิ่มเวลาในการคำนวณ [1] [3]
2. การลดหน่วยความจำ: ในขณะที่การตรวจสอบไม่จำเป็นต้องใช้หน่วยความจำในระหว่างการ backpropagation ทั้งหมด (เนื่องจากการไล่ระดับสียังคงต้องการหน่วยความจำสำหรับค่ากลาง) มันสามารถลดการใช้หน่วยความจำสูงสุดโดยหลีกเลี่ยงการจัดเก็บของตัวกลางบางอย่าง [8] อย่างไรก็ตามการออมหน่วยความจำจริงขึ้นอยู่กับวิธีการใช้ด่านตรวจสอบภายในกราฟการคำนวณ
3. การลดการกระจายตัวของหน่วยความจำ: แม้ว่า `jax.checkpoint` ส่วนใหญ่มุ่งเน้นการลดการใช้หน่วยความจำสูงสุดแทนที่จะจัดการกับการกระจายตัวของหน่วยความจำโดยตรงการใช้ด่านตรวจสอบอย่างมีประสิทธิภาพสามารถช่วยจัดการรูปแบบการจัดสรรหน่วยความจำ โดยการควบคุมเมื่อตัวกลางถูกเก็บและคำนวณใหม่มันสามารถลดการกระจายตัวทางอ้อมได้โดยการลดรอยเท้าหน่วยความจำโดยรวมและอาจลดความจำเป็นในการจัดสรรและการจัดวางบ่อย ๆ [7]
โดยสรุปในขณะที่จุดตรวจสอบการไล่ระดับสีของ JAX นั้นมีจุดมุ่งหมายเป็นหลักในการลดการใช้หน่วยความจำสูงสุดโดยการกำหนดค่าตัวกลางจะสามารถนำไปสู่การจัดการหน่วยความจำที่ดีขึ้นทางอ้อมที่ช่วยลดการกระจายตัวโดยการปรับรูปแบบการจัดสรรหน่วยความจำ อย่างไรก็ตามการลดการกระจายตัวของหน่วยความจำโดยตรงนั้นทำได้อย่างมีประสิทธิภาพมากขึ้นผ่านกลยุทธ์อื่น ๆ เช่นการดำเนินการแบทช์และการตรวจสอบการใช้หน่วยความจำ [7]
การอ้างอิง:[1] https://docs.jax.dev/en/latest/gradient-checkpointing.html
[2] https://discuss.pytorch.org/t/gradient-checkpointing-and-its-effect-on-memory-and-runtime/198437
[3] https://docs.jax.dev/en/latest/_autosummary/jax.checkpoint.html
[4] https://github.com/google/jax/discussions/20252
[5] https://jax.readthedocs.io/en/latest/gpu_memory_allocation.html
[6] https://discuss.pytorch.org/t/gradient-checkpointing-does-not-reduce-memory-usage/71421
[7] https://app.studyraid.com/en/read/11969/381958/memory-management-best-practices
[8] https://github.com/google/jax/issues/19822