Pemrosesan mini-batch menawarkan beberapa manfaat dibandingkan pemrosesan batch penuh, terutama saat menggunakan kerangka kerja seperti Jax untuk perhitungan numerik dan tugas pembelajaran mesin. Berikut adalah beberapa keuntungan utama:
1. Efisiensi memori: Pemrosesan mini-batch membutuhkan lebih sedikit memori dibandingkan dengan pemrosesan penuh. Ini karena hanya sebagian dari dataset yang dimuat ke dalam memori pada waktu tertentu, membuatnya layak untuk menangani kumpulan data besar yang mungkin tidak masuk ke dalam memori sebaliknya [3] [4].
2. Pembaruan Gradien Lebih Cepat: Mini-Batch memungkinkan untuk pembaruan parameter model yang lebih sering. Ini karena gradien dihitung dan diperbarui setelah setiap mini-batch, daripada menunggu seluruh dataset diproses. Ini mengarah pada konvergensi yang lebih cepat dalam banyak kasus [3] [4].
3. Injeksi kebisingan dan menghindari titik pelana: Pemrosesan mini-batch memperkenalkan kebisingan ke pembaruan gradien, yang dapat membantu menghindari minimum lokal atau titik pelana selama optimasi. Kebisingan ini dapat menyebabkan konvergensi yang lebih kuat dibandingkan dengan pembaruan deterministik dari pemrosesan batch penuh [3] [4].
4. Fleksibilitas dan skalabilitas: Mini-batch sangat berguna ketika berhadapan dengan set data besar atau ketika sumber daya komputasi terbatas. Mereka memungkinkan pemrosesan paralel dan dapat dengan mudah didistribusikan di beberapa GPU atau mesin, meningkatkan skalabilitas [2] [4].
5. Pemrosesan real-time atau dekat waktu: Meskipun tidak secepat pemrosesan aliran, pemrosesan mini-batch dapat memberikan hasil dalam waktu nyata, sehingga cocok untuk aplikasi di mana wawasan tepat waktu sangat penting tetapi tidak harus instan [2] .
Dalam JAX, menggunakan mini-batch dapat dikelola secara efisien dengan alat-alat seperti `VMAP`, yang memungkinkan fungsi untuk diterapkan di seluruh batch data tanpa memerlukan loop eksplisit atau penanganan dimensi batch. Ini menyederhanakan kode dan memanfaatkan optimasi Jax untuk eksekusi paralel pada akselerator perangkat keras seperti GPU dan TPU [1] [9].
Kutipan:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorization-with-jax/batch-pocessing
[2] https://www.upsolver.com/blog/batch-ste-a-cheat-sheet
[3.
[4] https://datascience.stackexchange.com/questions/73656/batch-gradient-descent-vs-mini-batch-in-deep-learning
[5] https://dinocausevic.com/2023/06/18/jax-in-action-linear-regression/
[6] https://www.kaggle.com/code/residentmario/full-batch-mini-batch-and-online-learning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-batch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-eficient-as-compared-to-batched-ops