Obdelava Mini-Search ponuja več prednosti pred obdelavo polne pakete, zlasti pri uporabi okvirov, kot je JAX, za numerične izračune in naloge strojnega učenja. Tu je nekaj ključnih prednosti:
1. Učinkovitost pomnilnika: Mini serilna obdelava zahteva manj pomnilnika v primerjavi s polno obdelavo. To je zato, ker se v vsakem trenutku naloži le del nabora podatkov, zaradi česar je mogoče ravnati z velikimi nabori podatkov, ki se sicer ne bi uvrstili v pomnilnik [3] [4].
2. hitrejše posodobitve gradienta: Mini šarti omogočajo pogostejše posodobitve parametrov modela. To je zato, ker se gradienti izračunajo in posodabljajo po vsaki mini seriji, namesto da bi čakali na obdelavo celotnega nabora podatkov. To vodi v hitrejšo konvergenco v mnogih primerih [3] [4].
3. Vbrizgavanje hrupa in izogibanje sedalnim točkam: Mini serilna obdelava vnese hrup v posodobitve naklona, kar lahko med optimizacijo prepreči lokalne minimalne ali sedle točke. Ta hrup lahko privede do močnejše konvergence v primerjavi z determiniranimi posodobitvami obdelave polne serije [3] [4].
4. Prilagodljivost in razširljivost: Mini šarti so še posebej uporabni pri obravnavi velikih naborov podatkov ali kadar so računski viri omejeni. Omogočajo vzporedno obdelavo in jih je mogoče enostavno razdeliti po več GPU ali strojih, kar izboljšuje razširljivost [2] [4].
5. Obdelava v realnem času ali v bližini: Čeprav ni tako takojšnja kot obdelava tokov, lahko mini serilna obdelava zagotavlja rezultate skoraj v realnem času, zaradi česar je primerna za aplikacije, kjer so pravočasni vpogledi ključni, vendar ne nujno takoj [2] .
V Jaxu lahko uporaba mini serij učinkovito upravljamo z orodji, kot je `vmap`, ki omogoča uporabo funkcij v serijah podatkov, ne da bi potrebovali izrecne zanke ali ravnanje z dimenzijami. To poenostavi kodo in uporablja Jaxove optimizacije za vzporedno izvajanje pri pospeševalnikih strojne opreme, kot sta GPUS in TPUS [1] [9].
Navedbe:[1] https://apxml.com/courses/getting-started-with-jax/chapter-4-vectorizacija-with-jax/batch-processing
[2] https://www.upsolver.com/blog/batch-stream-a-cheat sheet
[3] https://datascience.stackexchange.com/questions/16807/why-mini-batch-size-is-better- than-one-single-batch-with-All-Training-tata
[4] https://datascience.stackexchange.com/Questions/73656/batch-gradient-descent-vs-mini-batch-in-deep-urni
[5] https://dinocausevic.com/2023/06/18/jax-in-action-linear-regression/
[6] https://www.kaggle.com/code/residentmario/full-batch-mini-batch-and-online-loarning
[7] https://www.reddit.com/r/machinelearning/comments/st8b11/d_should_we_be_using_jax_in_2022/
[8] https://www.baeldung.com/cs/mini-batch-vs-single-batch-training-tata
[9] https://stackoverflow.com/questions/75020544/is-vmap-effect-as-crared-to-batched-ops