Arama sonuçlarına dayanarak, Nöral Makine Çeviri (NMT) modellerinde farklı hiperparametrelerin performansını görselleştirmenin bazı temel yolları şunlardır:
1. Paralel koordinat parselleri:
- Arama sonuçları, hiperparametreler ve BLEU skoru gibi değerlendirme metrikleri arasındaki ilişkileri anlamak için paralel koordinat grafikleri kullanılaraktır [2].
- Bu grafikler, birden fazla hiperparametlenin tüm yapılandırma alanı boyunca model performansı üzerindeki etkisini görselleştirmenizi sağlar.
2. Hiper parametre önemi sıralaması:
- Arama sonuçları, BLEU skoru üzerindeki etkilerine dayanarak bireysel hiperparametrelerin ve hiperparametre çiftlerinin önemini tartışmaktadır [2].
- Bu, ayarlama çabalarının odak noktası olması gereken en etkili hiperparametrelerin belirlenmesine yardımcı olabilir.
3. Performans histogramları:
- Arama sonuçları, temel bir NMT sistemi için performansdaki geniş varyansı görselleştirmek için BLEU skorlarının histogramlarını göstermektedir [2].
- Bu, farklı hiperparametre konfigürasyonları altında model performansının genel dağılımını anlamaya yardımcı olabilir.
4. Hiperparametre korelasyon analizi:
- Arama sonuçları, BLEU skoru ile yapılandırma sıralaması arasındaki mızrakçı korelasyon katsayısını farklı veri kümelerinde ölçen [4].
- Bu, iyi hiperparametre konfigürasyonlarının veri kümeleri arasında iyi genelleme yapıp yapmadığını veya veri kümesine özgü olup olmadığını ortaya çıkarabilir.
5. Pareto Sınır Görselleştirme:
-Çok amaçlı hiperparametre optimizasyonu için (örneğin, hem doğruluk hem de çıkarım hızı için optimize etme), arama sonuçları Pareto-optimal modellerin görselleştirilmesini önermektedir [5].
- Bu, hiperparametreleri ayarlarken farklı performans metrikleri arasındaki değişimleri anlamaya yardımcı olabilir.
6. Veri görselleştirme araçları:
- Arama sonuçları, hiperparametre araması tarafından oluşturulan büyük miktarda günlük verilerinden bilgiler elde etmek için özel veri görselleştirme araçları oluşturma gereğinden bahsetmektedir [5].
- Etkileşimli görselleştirmeler geliştirmek, hiperparametre arama alanı ve model performansının daha derin bir şekilde anlaşılmasını kolaylaştırabilir.
Bu görselleştirme tekniklerinden yararlanarak, farklı hiperparametrelerin NMT model performansı üzerindeki etkisi hakkında değerli bilgiler elde edebilir, en etkili hiperparametreleri tanımlayabilir ve hiperparametre ayarında yer alan ödünleşmeleri anlayabilirsiniz.
Alıntılar:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-trace-nmt-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/reproducible-and-facter-benchmarks-for-for-for-for-for-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf