L'elaborazione mini-batch offre numerosi vantaggi rispetto all'elaborazione completa, soprattutto quando si utilizzano framework come JAX per calcoli numerici e attività di apprendimento automatico. Ecco alcuni vantaggi chiave:
1. Efficienza della memoria: l'elaborazione dei mini-batch richiede meno memoria rispetto all'elaborazione a pieno batch. Questo perché solo una parte del set di dati viene caricata in memoria in qualsiasi momento, rendendo possibile gestire set di dati di grandi dimensioni che potrebbero non adattarsi alla memoria altrimenti [3] [4].
2. Aggiornamenti a gradiente più veloci: i mini-batch consentono aggiornamenti più frequenti dei parametri del modello. Questo perché i gradienti vengono calcolati e aggiornati dopo ogni mini-batch, anziché attendere l'elaborazione dell'intero set di dati. Ciò porta a una convergenza più rapida in molti casi [3] [4].
3. Iniezione di rumore ed evitare i punti della sella: l'elaborazione mini-batch introduce il rumore negli aggiornamenti del gradiente, che può aiutare a evitare i minimi locali o i punti della sella durante l'ottimizzazione. Questo rumore può portare a una convergenza più solida rispetto agli aggiornamenti deterministici dell'elaborazione a batch a pieno numero [3] [4].
4. Flessibilità e scalabilità: i mini-batch sono particolarmente utili quando si tratta di set di dati di grandi dimensioni o quando le risorse computazionali sono limitate. Abilitano l'elaborazione parallela e possono essere facilmente distribuiti su più GPU o macchine, migliorando la scalabilità [2] [4].
5. Elaborazione in tempo reale o quasi in tempo reale: sebbene non sia immediato come l'elaborazione del flusso, l'elaborazione dei mini-batch può fornire risultati in tempo quasi in tempo reale, rendendolo adatto per applicazioni in cui approfondimenti tempestivi sono cruciali ma non necessariamente istantanei [2] .
In JAX, l'uso di mini-batch può essere gestito in modo efficiente con strumenti come `VMAP`, che consente di applicare le funzioni tra lotti di dati senza bisogno di loop espliciti o manipolazione delle dimensioni batch. Ciò semplifica il codice e sfrutta le ottimizzazioni di Jax per l'esecuzione parallela su acceleratori hardware come GPU e TPU [1] [9].
Citazioni:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorization-with-jax/batch-processing
[2] https://www.upsolver.com/blog/batch-stream-a-cheat-heet
[3] https://datascience.stackexchange.com/questions/16807/why-mini-batch-size-is-isbetter-than-one-single-batch-with-all-laining-data
[4] https://datascience.stackexchange.com/questions/73656/batch-gradient-ddescent-vs-mini-batch-in --deep-learning
[5] https://dinocausevic.com/2023/06/18/jax-in-action-linear-regression/
[6] https://www.kaggle.com/code/residentmario/full-batch-mini-batch-and-online-learning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-batch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-efficient-as-compared-to-batched-ops