Towards a Better Understanding of Variations in Zero-Shot Neural Machine Translation Performance

要約

多言語ニューラル機械翻訳 (MNMT) は知識の共有を容易にしますが、ゼロショット (ZS) 翻訳の品質が低いことがよくあります。
これまでの研究では、全体的に低い ZS パフォーマンスの原因が調査されてきましたが、私たちの研究では、ZS パフォーマンスに大きな変動が存在するという新たな視点が導入されました。
これは、MNMT が一律に ZS 能力が低いわけではないことを示唆しています。
代わりに、特定の翻訳方向によって妥当な結果が得られます。
40 言語にわたる 1,560 の言語方向を含む体系的な実験を通じて、ZS NMT パフォーマンスの大きな変動に寄与する 3 つの重要な要素を特定しました。1) ターゲット側の翻訳能力、2) 語彙の重複、3) 言語特性。
私たちの調査結果は、ターゲット側の翻訳品質が最も影響力のある要因であり、語彙の重複が常に ZS のパフォーマンスに影響を与えることを浮き彫りにしています。
さらに、特に小規模なモデルでは、言語族や書記体系などの言語特性が影響します。
さらに、オフターゲット問題は不適切な ZS パフォーマンスの症状であることを示唆し、ゼロショット変換の課題はオフターゲット問題への対処を超えて拡大することを強調します。
今後の研究に向けてゼロショットを検討するためのベンチマークとなるデータとモデルを https://github.com/Smu-Tan/ZS-NMT-variations で公開します。

要約(オリジナル)

Multilingual Neural Machine Translation (MNMT) facilitates knowledge sharing but often suffers from poor zero-shot (ZS) translation qualities. While prior work has explored the causes of overall low ZS performance, our work introduces a fresh perspective: the presence of high variations in ZS performance. This suggests that MNMT does not uniformly exhibit poor ZS capability; instead, certain translation directions yield reasonable results. Through systematic experimentation involving 1,560 language directions spanning 40 languages, we identify three key factors contributing to high variations in ZS NMT performance: 1) target side translation capability 2) vocabulary overlap 3) linguistic properties. Our findings highlight that the target side translation quality is the most influential factor, with vocabulary overlap consistently impacting ZS performance. Additionally, linguistic properties, such as language family and writing system, play a role, particularly with smaller models. Furthermore, we suggest that the off-target issue is a symptom of inadequate ZS performance, emphasizing that zero-shot translation challenges extend beyond addressing the off-target problem. We release the data and models serving as a benchmark to study zero-shot for future research at https://github.com/Smu-Tan/ZS-NMT-Variations

arxiv情報

提供元, 利用サービス

arxiv.jp, Google