Pamatojoties uz meklēšanas rezultātiem, šeit ir daži galvenie veidi, kā vizualizēt dažādu hiperparametru veiktspēju neironu mašīntulkošanas (NMT) modeļos:
1. Paralēli koordinātu grafiki:
- Meklēšanas rezultātos minēts paralēlu koordinātu diagrammu izmantošana, lai izprastu attiecības starp hiperparametriem un novērtēšanas metriku, piemēram, BLEU punktu skaitu [2].
- Šie grafiki ļauj vizualizēt vairāku hiperparametru ietekmi uz modeļa veiktspēju visā konfigurācijas telpā.
2. Hiperparametru svarīguma klasifikācija:
- Meklēšanas rezultātos tiek apspriesta atsevišķu hiperparametru un hiperparametru pāru nozīmes ranžēšana, pamatojoties uz to ietekmi uz BLEU rezultātu [2].
- Tas var palīdzēt noteikt ietekmīgākos hiperparametrus, uz kuriem būtu jākoncentrējas skaņošanas centienos.
3. Veiktspējas histogrammas:
- Meklēšanas rezultāti parāda BLEU punktu histogrammas, lai vizualizētu NMT bāzes sistēmas veiktspējas plašās atšķirības [2].
- Tas var palīdzēt izprast kopējo modeļa veiktspējas sadalījumu dažādās hiperparametru konfigurācijās.
4. Hiperparametru korelācijas analīze:
- Meklēšanas rezultātos ir minēts Spīrmena korelācijas koeficienta mērīšana starp konfigurāciju klasifikāciju pēc BLEU rādītāja dažādās datu kopās [4].
- Tas var atklāt, vai labas hiperparametru konfigurācijas labi vispārinās visās datu kopās vai ir specifiskas datu kopai.
5. Pareto robežas vizualizācija:
- Vairāku mērķu hiperparametru optimizācijai (piemēram, optimizācijai gan precizitātei, gan secinājumu ātrumam) meklēšanas rezultāti iesaka vizualizēt Pareto optimālos modeļus [5].
- Tas var palīdzēt izprast kompromisus starp dažādiem veiktspējas rādītājiem, pielāgojot hiperparametrus.
6. Datu vizualizācijas rīki:
- Meklēšanas rezultātos ir minēta nepieciešamība izveidot pielāgotus datu vizualizācijas rīkus, lai gūtu ieskatu no liela apjoma žurnāldatu, ko ģenerē hiperparametru meklēšana [5].
- Interaktīvu vizualizāciju izstrāde var veicināt dziļāku izpratni par hiperparametru meklēšanas telpu un modeļa veiktspēju.
Izmantojot šīs vizualizācijas metodes, jūs varat gūt vērtīgu ieskatu par dažādu hiperparametru ietekmi uz NMT modeļa veiktspēju, noteikt ietekmīgākos hiperparametrus un izprast kompromisus, kas saistīti ar hiperparametru regulēšanu.
Citāts:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/Hyper-parameters-for-training-NMT-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/Reproducible-and-Efficient-Benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf