Joint Dropout: Improving Generalizability in Low-Resource Neural Machine Translation through Phrase Pair Variables

要約

ニューラル機械翻訳 (NMT) は多大な成功を収めているにもかかわらず、リソースの少ない言語ペアでのパフォーマンスは依然として標準以下にとどまっています。その理由の 1 つは、これまでに見たことのない入力、つまり一般化を処理する能力が限られているためです。
この論文では、ジョイント ドロップアウトと呼ばれる方法を提案します。この方法は、フレーズを変数に置き換えることによって低リソースのニューラル機械翻訳の課題に対処し、一般化の重要な側面である構成性を大幅に強化します。
BLEU および直接評価スコアに見られるように、最小限のリソースで言語ペアの翻訳品質が大幅に向上していることがわかります。
さらに、エラー分析を実施し、Joint Dropout が、さまざまなドメインにわたる堅牢性と適応性の点で低リソース NMT の汎用性も強化することを発見しました。

要約(オリジナル)

Despite the tremendous success of Neural Machine Translation (NMT), its performance on low-resource language pairs still remains subpar, partly due to the limited ability to handle previously unseen inputs, i.e., generalization. In this paper, we propose a method called Joint Dropout, that addresses the challenge of low-resource neural machine translation by substituting phrases with variables, resulting in significant enhancement of compositionality, which is a key aspect of generalization. We observe a substantial improvement in translation quality for language pairs with minimal resources, as seen in BLEU and Direct Assessment scores. Furthermore, we conduct an error analysis, and find Joint Dropout to also enhance generalizability of low-resource NMT in terms of robustness and adaptability across different domains

arxiv情報

提供元, 利用サービス

arxiv.jp, Google