„Mini-Batch“ apdorojimas siūlo keletą privalumų, palyginti su viso partijos apdorojimu, ypač kai naudojami tokie rėmai kaip „Jax“ skaitmeniniams skaičiavimams ir mašininio mokymosi užduotims. Čia yra keletas pagrindinių pranašumų:
1. Taip yra todėl, kad bet kuriuo metu į atmintį įkeliama tik dalis duomenų rinkinio, todėl yra įmanoma tvarkyti didelius duomenų rinkinius, kurie kitaip gali netilpti į atmintį [3] [4].
2. Greitesni nuolydžio atnaujinimai: Mini partijos leidžia dažniau atnaujinti modelio parametrus. Taip yra todėl, kad gradientai apskaičiuojami ir atnaujinami po kiekvienos mini partijos, užuot laukę viso duomenų rinkinio apdorojimo. Tai daugeliu atvejų sukelia greitesnį konvergenciją [3] [4].
3. Triukšmo įpurškimas ir balno taškų vengimas: Mini partijų apdorojimas įveda triukšmą į gradiento atnaujinimus, o tai gali padėti išvengti vietinių minimų ar balno taškų optimizavimo metu. Šis triukšmas gali sukelti tvirtesnį konvergenciją, palyginti su deterministiniais viso partijos apdorojimo atnaujinimais [3] [4].
4. Lankstumas ir mastelio keitimas: Mini partijos yra ypač naudingos dirbant su dideliais duomenų rinkiniais arba kai skaičiavimo ištekliai yra riboti. Jie įgalina lygiagrečią apdorojimą ir gali būti lengvai paskirstomi keliuose GPU ar mašinose, padidindamas mastelį [2] [4].
5. Realiojo laiko arba beveik realiojo laiko apdorojimas: Nors ir ne taip greitai, kaip perdirbimas sraute, mini partijų apdorojimas gali duoti rezultatus beveik realiu laiku, todėl jis yra tinkamas programoms, kuriose savalaikės įžvalgos yra svarbios, bet nebūtinai akimirksniu [2] .
„Jax“ naudodamiesi mini partijomis galima efektyviai valdyti naudojant tokius įrankius kaip „VMAP“, leidžiantys funkcijas pritaikyti per duomenų partijas nereikia aiškių kilpų ar partijų matmenų tvarkymo. Tai supaprastina kodą ir panaudoja JAX optimizavimą lygiagrečiai vykdant aparatūros greitintuvus, tokius kaip GPU ir TPU [1] [9].
Citatos:[1] https://apxml.com/courses/getting-started-with-Jax/chapter-4-Vectorization-with-Jax/batch-Processing
[2] https://www.upsolver.com/blog/batch-stream-a-cheat-heet
[3] https://dataScence.stackexchange.com/questions/16807/why-mini-batch-size-s-better-than-one-single-batch-with-All-Training-data
[4] https://dataSsicence.stackexchange.com/questions/73656/batch-gradient-descent-vs-mini-batch-in-deep-Learning
[5] https://dinocausevic.com/2023/06/18/jax-in-action-linear-regression/
[6] https://www.kaggle.com/code/residentmario/full-batch-mini-batch-and-online-eeinging
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-batch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-efficfict-as-comPared-to-batched-ops