TPDM: Selectively Removing Positional Information for Zero-shot Translation via Token-Level Position Disentangle Module

要約

多言語ニューラル機械翻訳 (MNMT) のゼロショット翻訳機能により、ゼロショット翻訳における MNMT の可能性を最大限に活用するために多くの作業が行われてきました。
位置情報により、MNMT が復号用の堅牢な符号化表現を出力することが妨げられる可能性があるという仮説がよく立てられます。
しかし、これまでの手法ではすべての位置情報を同等に扱うため、特定の位置情報を選択的に削除することができませんでした。
それとは対照的に、この論文では、有用な位置情報を選択的に保存する方法を学習する方法を研究しています。
位置情報が MNMT に影響を与える具体的なメカニズムを言語学の観点からトークンレベルで説明します。
この説明に基づいて、位置情報をトークンレベルで解きほぐすためのトークンレベル位置解きほぐしモジュール（TPDM）フレームワークを設計します。
私たちの実験は、私たちのフレームワークが以前の研究と比較して教師あり方向のパフォーマンス損失を軽減しながら、ゼロショット変換を大幅に改善することを示しています。

要約(オリジナル)

Due to Multilingual Neural Machine Translation’s (MNMT) capability of zero-shot translation, many works have been carried out to fully exploit the potential of MNMT in zero-shot translation. It is often hypothesized that positional information may hinder the MNMT from outputting a robust encoded representation for decoding. However, previous approaches treat all the positional information equally and thus are unable to selectively remove certain positional information. In sharp contrast, this paper investigates how to learn to selectively preserve useful positional information. We describe the specific mechanism of positional information influencing MNMT from the perspective of linguistics at the token level. We design a token-level position disentangle module (TPDM) framework to disentangle positional information at the token level based on the explanation. Our experiments demonstrate that our framework improves zero-shot translation by a large margin while reducing the performance loss in the supervised direction compared to previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google