Na základe výsledkov vyhľadávania je tu niekoľko kľúčových spôsobov, ako vizualizovať výkon rôznych hyperparametrov v modeloch Neural Machine Translation (NMT):
1. Paralelné súradnicové grafy:
- Výsledky vyhľadávania uvádzajú použitie paralelných súradnicových grafov na pochopenie vzťahov medzi hyperparametrami a hodnotiacimi metrikami, ako je skóre BLEU [2].
- Tieto grafy vám umožňujú vizualizovať vplyv viacerých hyperparametrov na výkon modelu v celom konfiguračnom priestore.
2. Rebríček dôležitosti hyperparametra:
- Výsledky vyhľadávania diskutujú o klasifikácii dôležitosti jednotlivých hyperparametrov a párov hyperparametrov na základe ich vplyvu na skóre BLEU [2].
- Môže to pomôcť identifikovať najvplyvnejšie hyperparametre, na ktoré by sa mali zamerať snahy o ladenie.
3. Histogramy výkonnosti:
- Výsledky vyhľadávania zobrazujú histogramy skóre BLEU na vizualizáciu širokého rozptylu výkonu pre základný systém NMT [2].
- Môže to pomôcť pochopiť celkové rozloženie výkonu modelu pri rôznych konfiguráciách hyperparametrov.
4. Analýza hyperparametrovej korelácie:
- Výsledky vyhľadávania uvádzajú meranie Spearmanovho korelačného koeficientu medzi hodnoteniami konfigurácií podľa skóre BLEU v rôznych súboroch údajov [4].
- To môže odhaliť, či sa dobré konfigurácie hyperparametrov dobre zovšeobecňujú naprieč množinami údajov alebo sú špecifické pre množinu údajov.
5. Vizualizácia Pareto Frontier:
- Na optimalizáciu hyperparametrov s viacerými cieľmi (napr. optimalizácia na presnosť aj rýchlosť odvodzovania) výsledky vyhľadávania navrhujú vizualizáciu Pareto-optimálnych modelov [5].
- To môže pomôcť pochopiť kompromisy medzi rôznymi metrikami výkonu pri ladení hyperparametrov.
6. Nástroje na vizualizáciu údajov:
- Výsledky vyhľadávania uvádzajú potrebu vytvoriť vlastné nástroje na vizualizáciu údajov, aby ste získali prehľad z veľkého množstva údajov protokolu generovaných vyhľadávaním hyperparametrov [5].
- Vývoj interaktívnych vizualizácií môže uľahčiť hlbšie pochopenie priestoru vyhľadávania hyperparametrov a výkonu modelu.
Využitím týchto vizualizačných techník môžete získať cenné poznatky o vplyve rôznych hyperparametrov na výkon modelu NMT, identifikovať najvplyvnejšie hyperparametre a pochopiť kompromisy súvisiace s ladením hyperparametrov.
Citácie:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/Hyper-parameters-for-training-NMT-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/Reproducible-and-Efficient-Benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf