Pe baza rezultatelor căutării, iată câteva modalități cheie de vizualizare a performanței diferitelor hiperparametre în modelele de traducere a mașinilor neuronale (NMT):
1.. Ploturi de coordonate paralele:
- Rezultatele căutării menționează folosind parcele de coordonate paralele pentru a înțelege relațiile dintre hiperparametre și valorile de evaluare precum scorul Bleu [2].
- Aceste parcele vă permit să vizualizați impactul mai multor hiperparametre asupra performanței modelului pe întregul spațiu de configurare.
2. Clasamentul importanței hiperparameterului:
- Rezultatele căutării discută despre clasamentul importanței hiperparametrelor individuale și a perechilor de hiperparametre pe baza impactului lor asupra scorului Bleu [2].
- Acest lucru poate ajuta la identificarea celor mai influenți hiperparametre care ar trebui să fie punctul central al eforturilor de reglare.
3. Histograme de performanță:
- Rezultatele căutării arată histogramele scorurilor BLEU pentru a vizualiza variația largă a performanței pentru un sistem NMT de bază [2].
- Acest lucru poate ajuta la înțelegerea distribuției generale a performanței modelului în diferite configurații de hiperparameter.
4. Analiza corelației hiperparameterului:
- Rezultatele căutării menționează măsurarea coeficientului de corelație al Spearman între clasamentul configurațiilor prin scorul BLEU pe diferite seturi de date [4].
- Acest lucru poate dezvălui dacă configurațiile de hiperparameter bune se generalizează bine pe seturi de date sau sunt specifice seturilor de date.
5. Vizualizare Pareto Frontier:
-Pentru optimizarea hiperparametrului multi-obiectiv (de exemplu, optimizarea atât pentru precizie, cât și pentru viteza de inferență), rezultatele căutării sugerează vizualizarea modelelor Pareto-optime [5].
- Acest lucru poate ajuta la înțelegerea compromisurilor dintre diferite valori de performanță la reglarea hiperparametrelor.
6. Instrumente de vizualizare a datelor:
- Rezultatele căutării menționează nevoia de a construi instrumente de vizualizare a datelor personalizate pentru a obține informații despre cantitatea mare de date de jurnal generate de HyperParameter Search [5].
- Dezvoltarea vizualizărilor interactive poate facilita o înțelegere mai profundă a spațiului de căutare a hiperparametrului și a performanței modelului.
Utilizând aceste tehnici de vizualizare, puteți obține informații valoroase asupra impactului diferitelor hiperparametre asupra performanței modelului NMT, identificați cei mai influenți hiperparametre și înțelegeți compromisurile implicate în reglarea hiperparameterului.
Citări:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-training-nmt-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/reproductible-and-eficient-ensionmmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf