Mini-Batch işleme, özellikle sayısal hesaplamalar ve makine öğrenme görevleri için JAX gibi çerçeveleri kullanırken tam parti işlemine göre çeşitli avantajlar sunar. İşte bazı temel avantajlar:
1. Bellek Verimliliği: Mini-Toplu İşleme, tam parti işlemine kıyasla daha az bellek gerektirir. Bunun nedeni, veri kümesinin yalnızca bir kısmının herhangi bir zamanda belleğe yüklenmesi ve aksi takdirde belleğe sığmayan büyük veri kümelerini işlemeyi mümkün kılandır [3] [4].
2. Daha hızlı gradyan güncellemeleri: Mini gruplar, model parametrelerinin daha sık güncellenmesine izin verir. Bunun nedeni, gradyanların tüm veri kümesinin işlenmesini beklemek yerine, her mini partiden sonra hesaplanması ve güncellenmesidir. Bu, birçok durumda daha hızlı yakınsama yol açar [3] [4].
3. Gürültü enjeksiyonu ve eyer noktalarından kaçınma: Mini-toplu işleme, optimizasyon sırasında yerel minima veya eyer noktalarından kaçınmaya yardımcı olabilecek gradyan güncellemelerine gürültü getirir. Bu gürültü, tam parti işlemenin deterministik güncellemelerine kıyasla daha sağlam yakınsamaya yol açabilir [3] [4].
4. Esneklik ve ölçeklenebilirlik: Mini gruplar, büyük veri kümeleriyle uğraşırken veya hesaplama kaynakları sınırlı olduğunda özellikle yararlıdır. Paralel işlemeyi etkinleştirirler ve ölçeklenebilirliği artırarak birden fazla GPU veya makineye kolayca dağıtılabilirler [2] [4].
5. Gerçek zamanlı veya yakın gerçek zamanlı işleme: Akış işlemesi kadar acil olmasa da, mini-toplu işleme, gerçek zamanlı olarak sonuç verebilir, bu da zamanında öngörülerin önemli olduğu ancak mutlaka anlık olmayan uygulamalar için uygun hale getirebilir [2] .
JAX'ta, mini toplular kullanılarak, işlevlerin açık döngülere veya parti boyutu taşımasına ihtiyaç duymadan veri gruplarına uygulanmasına izin veren `` vmap '' gibi araçlarla verimli bir şekilde yönetilebilir. Bu, kodu basitleştirir ve JAX'in GPU'lar ve TPU'lar gibi donanım hızlandırıcılarında paralel yürütme optimizasyonlarından yararlanır [1] [9].
Alıntılar:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorization-with-jax/batch-processing
[2] https://www.upsolver.com/blog/batch-tream-a-cheat-sheet
[3] https://datascience.stackexchange.com/questions/16807/why-mini-batch-sizes-is-Better-than-bir-se- single-batch-with-lle-training-data
[4] https://datascience.stackexchange.com/questions/73656/batch-sentient-dcenes-vs-mini-isport-in-de----
[5] https://dinocauseevic.com/2023/06/18/jax-in-action-sear-regression/
[6] https://www.kaggle.com/code/Residentmario/full-batch-mini --and-online-rearning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-shatch-training-data
[9] https://stackoverflow.com/questions/75020544/is-vmap-ficter-acompared-to-batched-ops