Learning Homographic Disambiguation Representation for Neural Machine Translation

要約

タイトル：ニューラル機械翻訳における同形異義語の曖昧さを解消するための学習ホモグラフ表現

要約：
– 同じスペルを持ちながら異なる意味を持つ語である同形異義語は、ニューラル機械翻訳（NMT）において依然として課題である。
– 最近の研究では、各種の単語埋め込みを活用して、NMTにおいて単語の意味を区別する手法が提案されているが、同形異義語の曖昧さを解決するための重要な要素であるエンコーダーの隠れ状態には着目されていない。
– 本論文では、NMTの同形異義語の課題を潜在空間で扱う新しいアプローチを提案している。まず、自然言語推論（NLI）タスクで普遍的な文表現を学習するエンコーダー（HDR-エンコーダー）をトレーニングする。次に、WordNetから同形異義語に基づくsynset文を用いてエンコーダーをファインチューニングし、単語レベルの同形異義語の曖昧さ解消表現（HDR）を学習させる。
– 事前にトレーニングされたHDR-エンコーダーを、トランスフォーマベースのNMTと複数の方法で統合し、翻訳精度を向上させる。
– 4つの翻訳方向での実験により、提案手法の効果がBLEUスコアにおいて+2.3まで改善され、翻訳精度の他の指標（F1、精度、リコール）でも検証された。
– ヒートマップ、T-SNE、翻訳例などの可視化手法を活用して、提案手法の効果を示した。

要約(オリジナル)

Homographs, words with the same spelling but different meanings, remain challenging in Neural Machine Translation (NMT). While recent works leverage various word embedding approaches to differentiate word sense in NMT, they do not focus on the pivotal components in resolving ambiguities of homographs in NMT: the hidden states of an encoder. In this paper, we propose a novel approach to tackle homographic issues of NMT in the latent space. We first train an encoder (aka ‘HDR-encoder’) to learn universal sentence representations in a natural language inference (NLI) task. We further fine-tune the encoder using homograph-based synset sentences from WordNet, enabling it to learn word-level homographic disambiguation representations (HDR). The pre-trained HDR-encoder is subsequently integrated with a transformer-based NMT in various schemes to improve translation accuracy. Experiments on four translation directions demonstrate the effectiveness of the proposed method in enhancing the performance of NMT systems in the BLEU scores (up to +2.3 compared to a solid baseline). The effects can be verified by other metrics (F1, precision, and recall) of translation accuracy in an additional disambiguation task. Visualization methods like heatmaps, T-SNE and translation examples are also utilized to demonstrate the effects of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI