Remiantis paieškos rezultatais, čia yra keletas pagrindinių būdų, kaip vizualizuoti skirtingų hiperparametrų veikimą nervinių mašinų vertimo (NMT) modeliuose:
1. Paraleliniai koordinačių sklypai:
- Paieškos rezultatuose minima lygiagrečių koordinačių brėžiniais, kad suprastų hiperparametrų ir vertinimo metrikos, tokios kaip BLEU balas [2], ryšius.
- Šie brėžiniai leidžia vizualizuoti kelių hiperparametrų poveikį modelio našumui visoje konfigūracijos erdvėje.
2. Hiperparametro svarba reitingas:
- Paieškos rezultatai aptaria atskirų hiperparametrų ir hiperparametrų porų svarbą, atsižvelgiant į jų poveikį BLEU balui [2].
- Tai gali padėti nustatyti įtakingiausius hiperparametrus, kurie turėtų būti sutelkti į derinimo pastangas.
3. Našumo histogramos:
- Paieškos rezultatai rodo BLEU balų histogramas, kad būtų galima vizualizuoti didelę bazinės NMT sistemos veikimo variantą [2].
- Tai gali padėti suprasti bendrą modelio našumo pasiskirstymą esant skirtingoms hiperparametro konfigūracijoms.
4. Hiperparametro koreliacijos analizė:
- Paieškos rezultatuose paminėtas Spearmano koreliacijos koeficientas tarp konfigūracijų reitingų pagal BLEU balą skirtinguose duomenų rinkiniuose [4].
- Tai gali atskleisti, ar geros hiperparametro konfigūracijos gerai apibendrina duomenų rinkinius, ar yra konkrečiai duomenų rinkiniui.
5. Pareto pasienio vizualizacija:
-Daugiafunkciniam hiperparametro optimizavimui (pvz., Optimizuojant tikslumą ir išvadų greitį), paieškos rezultatai rodo, kad vizualizuojami Pareto optimalūs modeliai [5].
- Tai gali padėti suprasti skirtingų našumo rodiklių kompromisus derinant hiperparametrus.
6. Duomenų vizualizacijos įrankiai:
- Paieškos rezultatuose minima poreikis kurti pasirinktinius duomenų vizualizacijos įrankius, kad būtų gauta įžvalgų iš didelio žurnalo duomenų, sugeneruotų naudojant „HyperParameter Search“ [5].
- Interaktyvių vizualizacijų kūrimas gali palengvinti gilesnį supratimą apie hiperparametro paieškos erdvę ir modelio našumą.
Pasinaudoję šiais vizualizacijos metodais, galite įgyti vertingų įžvalgų apie skirtingų hiperparametrų poveikį NMT modelio veikimui, nustatyti įtakingiausius hiperparametrus ir suprasti kompromisus, susijusius su hiperparametro derinimu.
Citatos:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-training-nmt-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/roducible-and-efficit-benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf