Balstoties uz meklēšanas rezultātiem, šeit ir daži galvenie veidi, kā vizualizēt dažādu hiperparametru veiktspēju neironu mašīnu tulkošanas (NMT) modeļos:
1. Paralēli koordinātu zemes gabali:
- Meklēšanas rezultātos minēts, izmantojot paralēlus koordinātu grafikus, lai izprastu attiecības starp hiperparametriem un novērtēšanas metriku, piemēram, BLEU punktu skaitu [2].
- Šie diagrammas ļauj vizualizēt vairāku hiperparametru ietekmi uz modeļa veiktspēju visā konfigurācijas telpā.
2. Hiperparametra nozīme:
- Meklēšanas rezultātos tiek apspriesta atsevišķu hiperparametru un hiperparametru pāru nozīme, pamatojoties uz to ietekmi uz BLEU punktu skaitu [2].
- Tas var palīdzēt noteikt ietekmīgākos hiperparametrus, kam vajadzētu būt noskaņošanas centieniem.
3. Veiktspējas histogrammas:
- Meklēšanas rezultāti parāda BLU rādītāju histogrammas, lai vizualizētu plašas bāzes NMT sistēmas veiktspējas atšķirības [2].
- Tas var palīdzēt izprast modeļa veiktspējas kopējo sadalījumu dažādās hiperparametra konfigurācijās.
4. Hiperparametra korelācijas analīze:
- Meklēšanas rezultātos ir minēts Spearmana korelācijas koeficienta mērīšana starp konfigurāciju klasifikāciju ar BLEU punktu skaitu dažādās datu kopās [4].
- Tas var atklāt, vai labas hiperparametra konfigurācijas labi vispārina datu kopas, vai arī tās ir specifiskas datu kopai.
5. Pareto robežas vizualizācija:
-Vairāku mērķu hiperparametra optimizācijai (piemēram, optimizēšanai gan precizitātes, gan secinājumu ātrumam) meklēšanas rezultāti liecina par Pareto optimālo modeļu vizualizēšanu [5].
- Tas var palīdzēt izprast kompromisus starp dažādiem veiktspējas rādītājiem, noregulējot hiperparametrus.
6. Datu vizualizācijas rīki:
- Meklēšanas rezultātos ir minēts nepieciešamība izveidot pielāgotus datu vizualizācijas rīkus, lai iegūtu ieskatu no lielā žurnāla datu apjoma, ko ģenerē hiperparametra meklēšana [5].
- Interaktīvu vizualizāciju izstrāde var atvieglot dziļāku izpratni par hiperparametru meklēšanas telpu un modeļa veiktspēju.
Izmantojot šīs vizualizācijas metodes, jūs varat gūt vērtīgu ieskatu dažādu hiperparametru ietekmē uz NMT modeļa veiktspēju, identificēt ietekmīgākos hiperparametrus un izprast kompromisus, kas iesaistīti hiperparametra noregulēšanā.
Atsauces:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.TaCl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-training-nmt-models_tbl3_366618108
.
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf