Variable-length Neural Interlingua Representations for Zero-shot Neural Machine Translation

要約

多言語ニューラル機械翻訳 (MNMT) モデル内のエンコード表現の言語非依存性は、ゼロショット翻訳における一般化能力にとって重要です。
ニューラル間言語表現は、これを達成するための効果的な方法として示されています。
ただし、以前の研究で導入された固定長のニューラル間言語表現は、その柔軟性と表現能力を制限する可能性があります。
本研究では、ニューラル間言語表現の長さを可変にすることでニューラル間言語表現を強化し、それによって固定長のニューラル間言語表現の制約を克服する新しい方法を紹介します。
OPUS、IWSLT、および Europarl データセットでのゼロショット翻訳に関する実験結果は、固定長のニューラル間言語表現と比較して、安定したモデル収束と優れたゼロショット翻訳結果を示しています。
しかし、私たちの分析では、特定のソース言語からの翻訳における私たちのアプローチの有効性が最適ではないことが明らかになり、提案した方法で欠陥のあるモデルコンポーネントを正確に特定します。

要約(オリジナル)

The language-independency of encoded representations within multilingual neural machine translation (MNMT) models is crucial for their generalization ability on zero-shot translation. Neural interlingua representations have been shown as an effective method for achieving this. However, fixed-length neural interlingua representations introduced in previous work can limit its flexibility and representation ability. In this study, we introduce a novel method to enhance neural interlingua representations by making their length variable, thereby overcoming the constraint of fixed-length neural interlingua representations. Our empirical results on zero-shot translation on OPUS, IWSLT, and Europarl datasets demonstrate stable model convergence and superior zero-shot translation results compared to fixed-length neural interlingua representations. However, our analysis reveals the suboptimal efficacy of our approach in translating from certain source languages, wherein we pinpoint the defective model component in our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google