Mini-Batch-verwerking biedt verschillende voordelen ten opzichte van volledige batch-verwerking, vooral bij het gebruik van frameworks zoals JAX voor numerieke berekeningen en taken voor machine learning. Hier zijn enkele belangrijke voordelen:
1. Geheugenefficiëntie: mini-batch-verwerking vereist minder geheugen in vergelijking met volledige batch-verwerking. Dit komt omdat slechts een deel van de gegevensset op een bepaald moment in het geheugen wordt geladen, waardoor het haalbaar is om grote datasets te verwerken die anders misschien niet in het geheugen passen [3] [4].
2. Snellere gradiëntupdates: mini-batches zorgen voor frequentere updates van modelparameters. Dit komt omdat gradiënten na elke mini-batch worden berekend en bijgewerkt, in plaats van te wachten tot de hele gegevensset wordt verwerkt. Dit leidt in veel gevallen tot snellere convergentie [3] [4].
3. Ruisinjectie en het vermijden van zadelpunten: Mini-Batch-verwerking introduceert ruis in de gradiëntupdates, die kunnen helpen om lokale minima- of zadelpunten tijdens optimalisatie te voorkomen. Deze ruis kan leiden tot robuustere convergentie in vergelijking met de deterministische updates van volledige batch-verwerking [3] [4].
4. Flexibiliteit en schaalbaarheid: mini-batches zijn bijzonder handig bij het omgaan met grote datasets of wanneer computationele bronnen beperkt zijn. Ze maken parallelle verwerking mogelijk en kunnen eenvoudig worden verdeeld over meerdere GPU's of machines, waardoor de schaalbaarheid [2] [4] wordt verbeterd.
5. Real-time of bijna realtime verwerking: hoewel niet zo onmiddellijk als stroomverwerking, kan mini-batch-verwerking resultaten opleveren in bijna realtime, waardoor het geschikt is voor toepassingen waarbij tijdige inzichten cruciaal zijn maar niet noodzakelijkerwijs onmiddellijk [2] .
In JAX kan het gebruik van mini-batches efficiënt worden beheerd met tools zoals `vmap`, waarmee functies kunnen worden toegepast over batches van gegevens zonder expliciete lussen of batchdimensieafhandeling nodig te hebben. Dit vereenvoudigt de code en maakt gebruik van de optimalisaties van JAX voor parallelle uitvoering op hardware -versnellers zoals GPU's en TPU's [1] [9].
Citaten:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorization-with-jax/batch-processing
[2] https://www.upsolver.com/blog/batch-stream-a-cheat-sheet
[3] https://datascience.stackexchange.com/questions/16807/why-mini-batch-size-is-better-dan-one-single-batch-with-all-training-data
[4] https://datascience.stackexchange.com/questions/73656/batch-gradient-decent-vs-mini-batch-in-deep-l learning
[5] https://dinocausevic.com/2023/06/18/jax-inaction-linear-regression/
[6] https://www.kaggle.com/code/residentmario/full-batch-ini-batch-and-online-learning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_shought_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-batch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-efficient-as-compared-to-batched-ops