Με βάση τα αποτελέσματα αναζήτησης, εδώ είναι μερικοί βασικοί τρόποι απεικόνισης της απόδοσης διαφορετικών υπερπαραμέτρων σε μοντέλα μεταφράσεων νευρικής μηχανής (NMT):
1. Παράλληλα οικόπεδα συντεταγμένων:
- Τα αποτελέσματα αναζήτησης αναφέρονται χρησιμοποιώντας παράλληλα οικόπεδα συντεταγμένων για να κατανοήσουν τις σχέσεις μεταξύ υπερπαραμέτρων και μετρήσεων αξιολόγησης όπως η βαθμολογία BLEU [2].
- Αυτά τα οικόπεδα σας επιτρέπουν να απεικονίσετε την επίδραση πολλαπλών υπερπαραμετρών στην απόδοση του μοντέλου σε ολόκληρο τον χώρο διαμόρφωσης.
2.
- Τα αποτελέσματα αναζήτησης συζητούν την κατάταξη της σημασίας των μεμονωμένων υπερπαράμετρων και ζευγών υπερπαραμετρών με βάση την επίδρασή τους στη βαθμολογία BLEU [2].
- Αυτό μπορεί να βοηθήσει στον εντοπισμό των πιο σημαντικών υπερπαραμέτρων που θα πρέπει να είναι το επίκεντρο των προσπαθειών ρύθμισης.
3. Ιστογράμματα απόδοσης:
- Τα αποτελέσματα αναζήτησης δείχνουν ιστογράμματα των βαθμολογιών BLEU για να απεικονίσουν τη μεγάλη διακύμανση της απόδοσης για ένα σύστημα βάσης NMT [2].
- Αυτό μπορεί να βοηθήσει στην κατανόηση της συνολικής κατανομής της απόδοσης του μοντέλου κάτω από διαφορετικές διαμορφώσεις υπερπαραμέτρου.
4. Ανάλυση συσχέτισης υπερπαραμέτρου:
- Τα αποτελέσματα αναζήτησης αναφέρουν τη μέτρηση του συντελεστή συσχέτισης του Spearman μεταξύ της κατάταξης των διαμορφώσεων με βαθμολογία BLEU σε διαφορετικά σύνολα δεδομένων [4].
- Αυτό μπορεί να αποκαλύψει εάν οι καλές διαμορφώσεις υπερπαραμετρίας γενικεύονται καλά σε όλα τα σύνολα δεδομένων ή είναι ειδικά για το σύνολο δεδομένων.
5. Pareto Frontier Visualization:
-Για τη βελτιστοποίηση υπερπαραμέτρου πολλαπλών στόχων (π.χ. βελτιστοποίηση τόσο για την ακρίβεια όσο και για την ταχύτητα των συμπερασμάτων), τα αποτελέσματα αναζήτησης υποδηλώνουν την απεικόνιση των μοντέλων Pareto-Optimal [5].
- Αυτό μπορεί να βοηθήσει στην κατανόηση των συμφωνιών μεταξύ διαφορετικών μετρήσεων απόδοσης όταν συντονίζουμε υπερπαραμετρικά.
6. Εργαλεία απεικόνισης δεδομένων:
- Τα αποτελέσματα αναζήτησης αναφέρουν την ανάγκη δημιουργίας προσαρμοσμένων εργαλείων απεικόνισης δεδομένων για να αποκτήσουν πληροφορίες από τη μεγάλη ποσότητα δεδομένων καταγραφής που παράγονται από την HyperParameter Search [5].
- Η ανάπτυξη διαδραστικών απεικονίσεων μπορεί να διευκολύνει μια βαθύτερη κατανόηση του χώρου αναζήτησης υπερπαραμέτρου και της απόδοσης του μοντέλου.
Με την αξιοποίηση αυτών των τεχνικών απεικόνισης, μπορείτε να αποκτήσετε πολύτιμες γνώσεις σχετικά με την επίδραση των διαφορετικών υπερπαραμετρών στην απόδοση του μοντέλου NMT, να προσδιορίσετε τα πιο σημαντικά υπερπαμαμετρικά και να κατανοήσετε τις συμφωνίες που εμπλέκονται στον συντονισμό υπερπαραμέτρου.
Αναφορές:[1] https://arxiv.org/pdf/2105.11516.pdf
[2] https://aclanthology.org/2020.tacl-1.26.pdf
[3] https://www.researchgate.net/figure/hyper-parameters-for-traing-nmt-models_tbl3_366618108
[4] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00322/96458/reproducible-and-effection-benchmarks-for
[5] https://www.cs.jhu.edu/~kevinduh/t/kduh-proposal2017.pdf