CycleGan은 텍스트-텍스트 번역에 사용할 수 있습니다

Cyclegan은 쌍을 이루는 훈련 예제없이 두 도메인 간의 매핑을 학습 할 수있는 능력으로 유명하며, 이는 대규모 병렬 Corpora (페어링 된 텍스트 예제)를 사용할 수없는 많은 텍스트 작업에서 중요한 과제를 해결합니다. CycleGan은 2 개의 매핑을 배우고 도메인 A에서 도메인 B로, 1 초는 도메인 B에서 도메인 A 로의 역대 훈련을 사용하여 작동합니다. 주요 혁신은 사이클 일관성 손실로, 샘플이 한 도메인에서 다른 도메인으로 그리고 다시 맵핑되면 원래 입력으로 돌아갑니다. 이 주기적 제약은 짝을 이루지 않은 데이터로 작업 함에도 불구하고 컨텐츠 일관성을 유지하는 데 도움이됩니다.

텍스트 스타일 전송에 대한 응용 프로그램

텍스트 스타일 전송은 원본 내용과 의미를 유지하면서 새로운 스타일로 컨텐츠를 다시 제출하는 프로세스입니다. 동일한 문장이 여러 스타일로 작성되는 쌍의 텍스트 데이터를 얻는 데 어려움이 있기 때문에 Cyclegan의 짝을 이루지 않은 교육 방법론은 특히 유리합니다. 연구원들은 다른 저자의시 또는 변화하는 감정 극성 (예 : 긍정적 인 것에서 부정적인 감정으로 및 그 반대로)과 같은 다양한 작문 스타일 사이의 스타일 전송을위한 Cyclegan 기반 모델을 구현했습니다.

예를 들어, YELP 리뷰를 사용한 실험에서 텍스트 스타일 전송 (때로는 TextCycleGan이라고도 함)에 적합한 사이클은 병렬 텍스트가 필요없이 유창하고 스타일 적으로 정확한 변환을 생성하는 능력을 보여주었습니다. 이 모델은 긍정적 인 리뷰를 부정적인 것과 반대로 번역하는 동안 양방향 스타일 전송을 배웠고 원래 콘텐츠를 크게 유지했습니다. 그러나 성능은 고르지 않으며 일부 전송 (예를 들어, 음의 내지 양성)은 반대보다 높은 정확도를 달성하여 텍스트 대 이미지에서 스타일 및 내용 분리의 도전을 나타냅니다.

이 아키텍처에는 텍스트 데이터에 특화된 발전기 및 차별기가 포함되어 있으며, 종종 텍스트를 나타 내기 위해 임베딩 또는 시퀀스 모델을 사용합니다. 주기 일관성 손실은 번역 된 텍스트가 번역 될 때 원본 텍스트를 생성하도록 권장하며, 이는 스타일 변경 중에 의미 론적 의미를 보존하는 데 도움이됩니다. 약속에도 불구하고, 텍스트의 완벽한 스타일 전달은 여전히 ​​원래의 감정 단어를 유지하거나 올바른 문체 변형 대신 중립 텍스트의 생성을 가끔 보유하고 있습니다.

신경 기계 번역을위한 Cyclegan (NMT)

Cyclegan 원칙은 또한 신경 기계 번역, 특히 비 합금 Corpora의 경우 확장되었습니다. 전통적인 감독 NMT는 많은 언어 쌍에서 사용할 수없는 대형 쌍 데이터 세트에 크게 의존합니다. 주기 일관성 손실을 사용함으로써, 모델은 언어 A에서 언어 B로, 언어 A로 다시 문장을 번역하도록 훈련되며,이 왕복 번역은 원본 텍스트를 충실하게 재구성한다는 목표를 달성합니다.

최근의 예는 Cyclegan에서 영감을 얻은 변압기 기반 아키텍처 인 The CycleGn Framework입니다. 병렬 텍스트 Corpora가 필요하지 않은 기계 번역에 대한주기 일관된 접근법을 도입합니다. 두 가지 모델이 동시에 훈련됩니다. 하나는 소스에서 대상 언어로 번역하고 반대의 다른 모델. 훈련 목표는 번역 과정이 뒤집을 수 없도록 권장합니다. 즉, 후진 번역은 원래의 입력을 재현합니다. 이 접근법은 언어 쌍에서 변환 작업이 변경되지 않은 데이터 세트로 학습 작업을 학습하는 유망한 결과를 보여 주었으므로 자원이 적고 저조한 언어에 대한 강력한 길입니다.

텍스트에 대한 도전 및 적응

Cyclegan 프레임 워크는 이미지에서 텍스트로 개념적으로 전송 가능하지만 텍스트 데이터는 고유 한 과제를 제시합니다.

- 개별 표현 : 이미지는 연속 값 데이터이며 GAN 훈련에 필요한 부드러운 그라디언트 흐름을 허용합니다. 텍스트는 개별적이며, 임베딩이 필요하고 때로는 개별 토큰 출력을 처리하기 위해 강화 학습 또는 그라디언트 추정 기술이 필요합니다.
- 시맨틱 보존 : 스타일이 주로 모양과 관련된 이미지와 달리 텍스트는 시맨틱 의미를 유지하는 동안 스타일을 바꾸는 동안 언어, 문법 및 상황의 뉘앙스로 인해 더 복잡합니다.
- 평가 지표 : 텍스트 평가에는 유창함, 컨텐츠 보존 및 스타일 정확도가 포함되며, 이는 이미지의 픽셀 수준 정확도에 비해 주관적이고 정량화하기가 어렵습니다.
- 모델 아키텍처 : 텍스트의 생성기 및 차별기는 LSTM, GRU 또는 변압기와 같은 모델을 사용하여 순차적 데이터를 처리해야합니다. Cyclegan의 원래 컨볼 루션 네트워크는 그에 따라 조정되어야합니다.

사용 사례 요약

- 텍스트 스타일 전송 : CycleGan은 감정 전송 또는 저자 스타일 변환과 같은 쌍 데이터없이 텍스트 스타일 전송에 성공적으로 적용되어 컨텐츠 보유와 스타일 수정 간의 균형을 유지합니다.
- 감독되지 않은 신경 기계 번역 : 사이클 일관성을 시행함으로써 Cyclegan에서 영감을 얻은 모델은 짝을 이루지 않은 이중 언어 공동으로 변환 매핑을 배울 수있어 비용이 많이 드는 병렬 데이터 세트가 필요합니다.
-Text-to-Image 및 Image-to-Text : 관련 다중 모드 작업은 이미지에서 텍스트 및 캡션에서 이미지를 생성하는 데주기 일관성을 사용하여 텍스트 데이터 도메인을 처리 할 때 Cyclegan의 다양성을 보여줍니다.

발전 및 연구 전망

최근의 연구는 더 나은 시퀀스 수준의 교육, 자체 감독 학습 및 변압기 기반 아키텍처를 통합하여 텍스트 작업에 대한 Cyclegan을 계속 적용하고 향상시킵니다. 노력은 특히 병렬 데이터 부족이 금지되는 저주적 언어 또는 도메인에 대한 스타일 컨텐츠 분리, 훈련 안정성 및 번역 정확도 향상에 중점을 둡니다.

결론적으로, CycleGan은 텍스트-텍스트 번역 및 스타일 전송에 효과적으로 사용될 수 있으며,주기 일관성 손실 및 적대적인 훈련을 통해 짝을 이루지 않은 데이터를 활용합니다. 이를 통해 쌍을 이루는 Corpora를 얻는 것이 어려운 NLP 작업을위한 강력한 도구가되어 스타일이나 언어를 변경하면서 의미 론적 컨텐츠를 유지하는 번역 및 변환이 가능합니다. 그러나 개별 데이터, 의미 론적 보존 및 평가 복잡성에 대한 적응은 텍스트 응용 프로그램을 이미지 기반 Cyclegan 사용과 차별화합니다. 이러한 진행중인 개발은 텍스트 도메인 내에서 Cyclegan의 유틸리티를 계속 확대하고 있습니다.