2014 년에 도입 된 Bahdanau주의 메커니즘은 신경 기계 번역의 기본 방법으로, 디코딩 중에 입력 시퀀스의 특정 부분에 모델이 동적으로 초점을 맞출 수 있도록하여 전통적인 인코더 디코더 아키텍처를 향상시킵니다. 이주의 메커니즘은 디코더의 이전 숨겨진 상태를 각 인코더 숨겨진 상태와 비교하여 인코딩 된 입력 위치에 정렬 점수를 할당 한 다음 SoftMax 기능을 사용하여 이러한 점수를 정규화하여주의 가중를 만듭니다. 이러한 가중치를 통해 모델은 각 대상 단어를 생성 할 때 각각의 인코더 숨겨진 상태의 중요성을 무게를 측정하고, 초기 모델의 고정 길이 컨텍스트 벡터 한계를 극복하고, 특히 더 긴 문장에서 번역 품질을 향상시킬 수 있습니다.
Bahdanau주의의 주요 단계는 이전 디코더 상태 $$ \ mathbf {s} _ {t-1} $$ 및 각 Encoder Annotation $$ \ mathbf {h} _i $$에 공급되는 조정 점수를 계산하여 $$ e_ {t, i} $$를 계산하는 것입니다. 그런 다음 SoftMax 함수는이 점수에 적용되어주의 웨이트 $$ \ alpha_ {t, i} $$를 하나로 합하여 현재 디코딩 단계와 관련하여 각 인코더 출력의 중요성을 나타내는 확률로 사용됩니다. 컨텍스트 벡터 $$ \ mathbf {c} _t $$는 이러한주의 가중치를 사용하여 가중치의 인코더 주석의 합으로 계산 된 다음, 디코더에 공급되어 시간 $ T $$에 출력 단어를 생성합니다.
Hardmax는 SoftMax의 대안으로 연속 값 확률을 하나로 합산하는 대신 모델이 가장 높은 정렬 점수에 해당하는주의를 위해 정확히 하나의 입력 위치를 선택하여 효과적으로 일대 벡터를 생성합니다. 이것은 때때로 SoftMax의 소프트주의와 대조적으로 "어려운주의"로 간주됩니다. Hardmax는 각 디코딩 단계에서 가장 관련성이 높은 입력 위치를 결정적으로 선택하여 모델의 초점을 더욱 해석 할 수있게합니다.
Bahdanau의 관심에서 Softmax 대신 Hardmax를 사용하는 영향과 관련하여, 연구 및 경험적 연구에서 몇 가지 요점이 주목됩니다.
1. 정확도 및 학습 역학 :
-Argmax 작동이 차별화되지 않기 때문에 Hardmax주의를 사용하면 모델의 관심을 해제 할 수없는 경향이 있습니다. 이 차별성은 역전술과 같은 그라디언트 기반 방법을 사용하여 훈련을 복잡하게하며, 종종 강화 학습 기술 또는 그라디언트를 추정하기 위해 강화 알고리즘과 같은 근사치가 필요합니다.
-Softmax의 관심은 완전히 차별화 가능하며 더 부드럽고 안정적인 훈련을 가능하게합니다. 모든 인코더 위치의 소프트 가중치는 어려운 결정을 내리는 대신 입력에 대한 미묘한 분포를 학습하는 데 도움이되며, 이는주의 정렬이 불확실 할 때 조기 훈련 중에 특히 유리합니다.
- 따라서 Hardmax의 관심은 일반적으로 SoftMax에 비해 훈련 불안정성 또는 수렴 느린 수렴을 초래합니다. 이는 모델이 어떤 입력을 효과적으로 배우지 못하면 번역 정확도에 부정적인 영향을 줄 수 있습니다.
2. 모델 성능 :
-Softmax 기반 Bahdanau주의는 일반적으로 일반적인 기계 번역 작업에서 더 높은 정확도를 달성합니다. 여러 관련 입력에 동시에 참석하는 기능을 통해 모델은 유창하고 정확한 번역을 생성하는 데 필요한 더 풍부한 상황에 맞는 정보를 캡처 할 수 있습니다.
- 출력 당 단일 소스 위치에 초점을 맞추면 해석 가능하지만 Hardmax주의는 선택한 입력 위치를 벗어난 관련 컨텍스트를 놓칠 수있어 오류와 품질이 저하됩니다.
- 일부 작품은 교육 중에 SoftMax 분포에서 샘플링이 사용되는 확률 론적 또는 대략적인주의를 탐색하여 추정을 통해 해석 가능성을 향상시키고 차별성을 유지하는 이점을 결합합니다.
- 이러한 도전으로 인해 신경 기계 번역에서는 확률 론적 이완이없는 순수한 하드 맥스주의가 드 rare니다.
3. 해석 성과주의 선명도 :
- Hardmax는 한 위치에 중점을 둔 더 선명한주의 맵을 생성하여 모델이 각 디코딩 단계에서 참석하는 소스 단어를 명확하게 표시하여 해석 가능성을 향상시킬 수 있습니다.
- 대조적으로, SoftMax주의는 확산 또는 소프트주의 웨이트를 생성하여 해석하기가 어렵지만 여러 입력에 걸쳐 미묘한 상황에 맞는 신호를 캡처하는 데 더 좋습니다.
4. 컨텍스트 벡터 계산 :
-SoftMax의 경우 컨텍스트 벡터는 모든 인코더 숨겨진 상태의 가중 합계로 여러 위치에서 정보를 혼합합니다.
- Hardmax는 단일 선택된 인코더 숨겨진 상태와 직접 컨텍스트 벡터로 이어져 입력의 다른 관련 부분에서 유용한 정보를 폐기 할 수 있습니다.
5. 경험적 및 비교 연구 :
- 원래 Bahdanau et al. (2014) 논문은주의 정규화를 위해 SoftMax를 사용합니다. 후속 연구는이 방법의 번역 정확도에 대한 경험적 효과를 확인합니다.
- 하드주의를 탐구하는 연구는 강화 학습 프레임 워크와 일치하며 종종 Hardmax의 관심이 해석 성을 향상시킬 수 있지만 확률 적 훈련 기술과주의 깊게 결합되지 않는 한 번역 품질에 대한 소프트 낙스주의를 과소 평가하는 경향이 있다고 결론을 내립니다.
- 일부 방법은 하이브리드 또는 혼합 하드 소프트주의를 제안하여 실제로 정확도와 해석 가능성을 향상시킵니다.
요약하면, Hardmax는 가장 관련성이 높은 입력 위치를 선택함으로써 명확하고 개별적 인주의 메커니즘을 제공하지만, 기계 번역에 대한 Bahdanau주의에 실질적인 사용은 훈련 문제와 Softmax에 비해 경험적 정확도를 낮추기 때문에 제한적입니다. Bahdanau주의의 SoftMax 기능은 차별화, 안정적인 학습 및 미묘한 소스 컨텍스트를 캡처하는 데 중요하여 번역 품질이 높아집니다. Hardmax주의는 해석 가능성과 희박한 관심에 대한 정확성을 거래하며, 사용될 때는 비 분리성의 문제를 완화하기 위해 특수 교육 방법이 필요합니다.
이러한 이해는 신경 기계 번역 연구의 광범위한 합의 및 발견과 일치하며,주의 메커니즘에 중점을 두 었으며, SoftMax 기능은 번역 정확도 및 모델 성능을 극대화 할 때 Bahdanau의 관심에 선호되는 선택으로 남아 있음을 강조합니다.
Bahdanau의 본질, SoftMax 기반 접근 방식, Hardmax 구현의 과제 및 경험적 결과는 Bahdanau 메커니즘과 Hard-Attentialts와의 비교를 자세히 설명하는 기본 및 튜토리얼 소스에서 제공됩니다.