Remiantis paieškos rezultatais, pateikiami keli pagrindiniai būdai, kaip vizualizuoti skirtingų hiperparametrų veikimą neuroninio mašininio vertimo (NMT) modeliuose:
1. Lygiagrečios koordinačių diagramos:
- Paieškos rezultatuose minimas lygiagrečių koordinačių diagramų naudojimas, siekiant suprasti ryšį tarp hiperparametrų ir vertinimo metrikų, pvz., BLEU balo [2].
- Šie brėžiniai leidžia vizualizuoti kelių hiperparametrų poveikį modelio veikimui visoje konfigūracijos erdvėje.
2. Hiperparametro svarbos reitingas:
- Paieškos rezultatuose aptariamas atskirų hiperparametrų ir hiperparametrų porų svarbos reitingavimas pagal jų įtaką BLEU balui [2].
- Tai gali padėti nustatyti įtakingiausius hiperparametrus, į kuriuos reikėtų sutelkti derinimo pastangas.
3. Našumo histogramos:
- Paieškos rezultatai rodo BLEU balų histogramas, kad būtų galima vizualizuoti didelius bazinės NMT sistemos veikimo skirtumus [2].
- Tai gali padėti suprasti bendrą modelio našumo pasiskirstymą pagal skirtingas hiperparametrų konfigūracijas.
4. Hiperparametrų koreliacijos analizė:
- Paieškos rezultatuose minimas Spearmano koreliacijos koeficiento matavimas tarp konfigūracijų reitingų pagal BLEU balą skirtinguose duomenų rinkiniuose [4].
- Tai gali atskleisti, ar geros hiperparametrų konfigūracijos gerai apibendrinamos visuose duomenų rinkiniuose, ar priklauso nuo duomenų rinkinio.
5. Pareto sienų vizualizacija:
- Kelių objektų hiperparametrų optimizavimui (pvz., optimizuojant tikslumą ir išvadų greitį), paieškos rezultatai siūlo vizualizuoti Pareto optimalius modelius [5].
- Tai gali padėti suprasti kompromisus tarp skirtingų našumo metrikų derinant hiperparametrus.
6. Duomenų vizualizacijos įrankiai:
- Paieškos rezultatuose minimas poreikis sukurti pasirinktinius duomenų vizualizavimo įrankius, kad būtų galima gauti įžvalgų iš didelio kiekio žurnalų duomenų, sugeneruotų atliekant hiperparametrų paiešką [5].
- Interaktyvių vizualizacijų kūrimas gali padėti giliau suprasti hiperparametrų paieškos erdvę ir modelio veikimą.
Naudodami šiuos vizualizavimo metodus galite įgyti vertingų įžvalgų apie skirtingų hiperparametrų įtaką NMT modelio veikimui, nustatyti įtakingiausius hiperparametrus ir suprasti hiperparametrų derinimo kompromisus.
Citatos:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/Hyper-parameters-for-training-NMT-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/Reproducible-and-Efficient-Benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf