Com base nos resultados da pesquisa, aqui estão algumas maneiras importantes de visualizar o desempenho de diferentes modelos hiperparâmetros nos modelos de tradução da máquina neural (NMT):
1. Gráficos de coordenadas paralelas:
- Os resultados da pesquisa mencionam usando gráficos de coordenadas paralelas para entender as relações entre hiperparâmetros e métricas de avaliação como a pontuação do BLEU [2].
- Essas parcelas permitem visualizar o impacto de vários hiperparâmetros no desempenho do modelo em todo o espaço de configuração.
2. Classificação de importância do hiperparâmetro:
- Os resultados da pesquisa discutem a classificação da importância de hiperparâmetros individuais e pares de hiperparâmetros com base em seu impacto na pontuação do BLEU [2].
- Isso pode ajudar a identificar os hiperparâmetros mais influentes que devem ser o foco dos esforços de ajuste.
3. Histogramas de desempenho:
- Os resultados da pesquisa mostram histogramas de pontuações BLEU para visualizar a ampla variação no desempenho de um sistema BASE NMT [2].
- Isso pode ajudar a entender a distribuição geral do desempenho do modelo em diferentes configurações de hiperparâmetro.
4. Análise de correlação de hiperparâmetro:
- Os resultados da pesquisa mencionam que medem o coeficiente de correlação de Spearman entre os rankings de configurações pela pontuação BLEU em diferentes conjuntos de dados [4].
- Isso pode revelar se boas configurações de hiperparâmetro generalizam bem nos conjuntos de dados ou são específicos de dados.
5. Pareto Frontier Visualização:
-Para otimização de hiperparâmetro multi-objetiva (por exemplo, otimização da precisão e velocidade de inferência), os resultados da pesquisa sugerem visualizar os modelos de pareto-ideais [5].
- Isso pode ajudar a entender as trocas entre diferentes métricas de desempenho ao ajustar os hiperparâmetros.
6. Ferramentas de visualização de dados:
- Os resultados da pesquisa mencionam a necessidade de criar ferramentas de visualização de dados personalizadas para obter informações da grande quantidade de dados de log gerados pela Pesquisa de Hyperparameter [5].
- O desenvolvimento de visualizações interativas pode facilitar uma compreensão mais profunda do espaço de pesquisa de hiperparâmetro e desempenho do modelo.
Ao alavancar essas técnicas de visualização, você pode obter informações valiosas sobre o impacto de diferentes hiperparâmetros no desempenho do modelo NMT, identificar os hiperparâmetros mais influentes e entender as compensações envolvidas no ajuste do hiperparâmetro.
Citações:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-trening-nmt-models_tbl3_36618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/reproducible-and-eficiente-benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf