Na podlagi rezultatov iskanja je nekaj ključnih načinov za vizualizacijo zmogljivosti različnih hiperparametrov v modelih nevronskega stroja (NMT):
1. vzporedne koordinatne ploskve:
- Rezultati iskanja omenjajo z uporabo vzporednih koordinatnih ploskv za razumevanje odnosov med hiperparametri in ocenjevalnimi metrikami, kot je Bleu Score [2].
- Te parcele vam omogočajo, da vizualizirate vpliv več hiperparametrov na delovanje modela v celotnem prostoru konfiguracije.
2. Uvrstitev pomembnosti hiperparametra:
- Rezultati iskanja razpravljajo o razvrstitvi pomena posameznih hiperparametrov in parov hiperparametrov na podlagi njihovega vpliva na oceno BleU [2].
- To lahko pomaga prepoznati najvplivnejše hiperparametre, ki bi morali biti v središču utrditve prizadevanj.
3. Histogrami uspešnosti:
- Rezultati iskanja prikazujejo histograme rezultatov BLEU za vizualizacijo široke razlike v zmogljivosti za osnovni sistem NMT [2].
- To lahko pomaga razumeti celotno porazdelitev zmogljivosti modela v različnih konfiguracijah hiperparametrov.
4. Analiza korelacije hiperparametra:
- Rezultati iskanja omenjajo merjenje koeficienta korelacije Spearmana med uvrstitvijo konfiguracij z oceno BLEU v različnih naborih podatkov [4].
- To lahko razkrije, ali dobre konfiguracije hiperparametrov dobro posplošujejo prek naborov podatkov ali so specifične za nabor podatkov.
5. Vizualizacija meje Pareto:
-Za več objektivno optimizacijo hiperparametra (npr. Optimizacija tako natančnosti kot za hitrost sklepanja), rezultati iskanja kažejo na vizualizacijo pareto-optimalnih modelov [5].
- To lahko pomaga razumeti kompromis med različnimi meritvami uspešnosti pri uglaševanju hiperparametrov.
6. Orodja za vizualizacijo podatkov:
- Rezultati iskanja omenjajo potrebo po izdelavi orodij za vizualizacijo podatkov po meri za pridobitev vpogleda iz velike količine podatkov dnevnika, ki jih ustvari iskanje hiperparametra [5].
- Razvoj interaktivnih vizualizacij lahko olajša globlje razumevanje iskalnega prostora hiperparametra in zmogljivosti modela.
Z uporabo teh tehnik vizualizacije lahko pridobite dragocen vpogled v vpliv različnih hiperparametrov na zmogljivost modela NMT, prepoznati najvplivnejše hiperparametre in razumeti kompromise, ki so povezani s hiperparametrom.
Navedbe:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-training-nmt-models_tbl3_36618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/reproducible-and-and-effect-wenchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf