Syntax-Aware Complex-Valued Neural Machine Translation

要約

構文はニューラル機械翻訳 (NMT) において非常に効果的であることが証明されています。
以前のモデルは、構文解析ツールから構文情報を取得し、それを NMT モデルに統合して、翻訳パフォーマンスを向上させていました。
この研究では、複素数値のエンコーダ/デコーダ アーキテクチャに構文情報を組み込む方法を提案します。
提案されたモデルは、アテンション メカニズムを使用して、ソース側からターゲット側まで単語レベルと構文レベルのアテンション スコアを共同で学習します。
重要なのは、特定のネットワーク アーキテクチャに依存せず、既存のシーケンスツーシーケンス (Seq2Seq) フレームワークに直接統合できることです。
実験結果は、提案された方法が 2 つのデータセットの BLEU スコアに大幅な改善をもたらすことができることを示しています。
特に、提案された方法は、構文的に大きな違いがある言語ペアを含む翻訳タスクにおいて、BLEU スコアの大幅な向上を達成します。

要約(オリジナル)

Syntax has been proven to be remarkably effective in neural machine translation (NMT). Previous models obtained syntax information from syntactic parsing tools and integrated it into NMT models to improve translation performance. In this work, we propose a method to incorporate syntax information into a complex-valued Encoder-Decoder architecture. The proposed model jointly learns word-level and syntax-level attention scores from the source side to the target side using an attention mechanism. Importantly, it is not dependent on specific network architectures and can be directly integrated into any existing sequence-to-sequence (Seq2Seq) framework. The experimental results demonstrate that the proposed method can bring significant improvements in BLEU scores on two datasets. In particular, the proposed method achieves a greater improvement in BLEU scores in translation tasks involving language pairs with significant syntactic differences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google