Prelucrarea mini-lot oferă mai multe beneficii față de procesarea completă, în special atunci când utilizați cadre precum JAX pentru calcule numerice și sarcini de învățare automată. Iată câteva avantaje cheie:
1. Eficiența memoriei: procesarea mini-lot necesită mai puțină memorie în comparație cu procesarea completă. Acest lucru se datorează faptului că doar o porțiune din setul de date este încărcată în memorie la un moment dat, ceea ce face posibilă gestionarea seturilor de date mari care s -ar putea să nu se încadreze în memorie altfel [3] [4].
2. Actualizări mai rapide despre gradient: mini-loturile permit actualizări mai frecvente ale parametrilor modelului. Acest lucru se datorează faptului că gradienții sunt calculați și actualizați după fiecare mini-lot, mai degrabă decât să aștepte procesarea întregului set de date. Aceasta duce la o convergență mai rapidă în multe cazuri [3] [4].
3. Injecția de zgomot și evitarea punctelor de șa: procesarea mini-lot introduce zgomot în actualizările gradientului, ceea ce poate ajuta la evitarea punctelor locale de minime sau de șa în timpul optimizării. Acest zgomot poate duce la o convergență mai robustă în comparație cu actualizările deterministe ale procesării cu lot complet [3] [4].
4. Flexibilitate și scalabilitate: mini-loturile sunt deosebit de utile atunci când se ocupă de seturi de date mari sau când resursele de calcul sunt limitate. Acestea permit procesarea paralelă și pot fi distribuite cu ușurință pe mai multe GPU sau mașini, îmbunătățind scalabilitatea [2] [4].
5. Procesare în timp real sau aproape în timp real: Deși nu este la fel de imediată ca procesarea fluxului, procesarea mini-lot poate oferi rezultate în timp real, ceea ce îl face adecvat pentru aplicațiile în care informațiile în timp util sunt cruciale, dar nu neapărat instantanee [2] .
În JAX, utilizarea mini-loturilor poate fi gestionată eficient cu instrumente precum `VMAP`, care permite aplicarea funcțiilor pe loturi de date fără a avea nevoie de bucle explicite sau de manipulare a dimensiunii lotului. Acest lucru simplifică codul și folosește optimizările JAX pentru execuția paralelă pe acceleratoare hardware precum GPU și TPU [1] [9].
Citări:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorization-with-jax/batch-processing
[2] https://www.upsolver.com/blog/batch-stream-a-cheat-sheet
[3] https://datascience.stackexchange.com/questions/16807/why-mini-batch-size-is-better-than-one-single-tatch-with-all-training-data
[4] https://datascience.stackexchange.com/questions/73656/batch-gradient-descent-vs-mini-batch-in-deep-learning
[5] https://dinocausevic.com/2023/06/18/jax-in-acction-linar-regression/
[6] https://www.kaggle.com/code/RezidentMario/full-tatch-Mini-Batch-and-online-learning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-sle-thatch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-eficient-as-compaped-to-batched-ops