Gradienta uzkrāšanās ir paņēmiens, kas palīdz mazināt atmiņas ierobežojumus, apmācot neironu tīklus, īpaši tādos ietvaros kā Jax. Tas ļauj simulēt lielākus partijas izmērus, nepieprasot papildu atmiņu, kas ir ļoti svarīgi, strādājot ar ierobežotiem GPU resursiem.
Kā darbojas gradienta uzkrāšanās:
1. Uzkriešanas slīpumi: tā vietā, lai atjauninātu modeļa parametrus pēc katras partijas, gradienti tiek uzkrāti vairākās partijās. Tas nozīmē, ka modeļa parametri tiek atjaunināti retāk, parasti pēc katrām N partijām.
2. Atmiņas izmantošanas samazināšana: neatjauninot modeli pēc katras partijas, maksimālā atmiņas lietošana ir ievērojami samazināta. Tas notiek tāpēc, ka vienlaikus jāapstrādā tikai viena partija (vai Microbatch), nevis jāielādē liela partija atmiņā.
3. Lielāku partijas izmēru imitēšana: uzkrājošie slīpumi vairākās partijās efektīvi atdarina apmācības izturēšanos ar lielāku partijas izmēru. Tas var uzlabot apmācības stabilitāti un potenciāli uzlabot modeļa veiktspēju, jo lielāki partijas izmēri bieži rada stabilākus atjauninājumus gradienta.
4. ieviešana Jax: Jax, gradienta uzkrāšanos var ieviest, manuāli uzkrājot slīpumus, izmantojot JAX funkciju “Jax.grad”, un pēc tam piemērojot šos uzkrātos slīpumus, lai atjauninātu modeļa parametrus. Šo procesu var automatizēt vai pielāgot, pamatojoties uz īpašiem atmiņas ierobežojumiem un apmācības prasībām.
Rezumējot, gradienta uzkrāšanās Jax palīdz pārvaldīt atmiņas ierobežojumus, ļaujot simulēt lielākus partijas izmērus bez papildu atmiņas, tādējādi ļaujot efektīvāk apmācīt neironu tīklus ierobežotiem aparatūras resursiem.
Atsauces:[1] https://optax.readthedocs.io/en/latest/_collections/examples/gradient_accumulation.html
[2] https://www.hopsworks.ai/dictionary/gradient-cumulation
[3] https://arxiv.org/abs/2406.12356
[4] https://www.reddit.com/r/machinelearning/comments/wxvlcc/d_does_gradient_accumulation_achieve_anything/
[5] https://www.databricks.com/blog/farewell-oom
[6.]
[7] https://stackoverflow.com/questions/70461130/clartification-about-gradient-cumulation
[8] https://stackoverflow.com/questions/55268762/how-to-cumulate-gradients-for-large-batch-tes-in-keras