Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning

要約

ニューラル機械翻訳 (NMT) は、高品質の翻訳の作成において目覚ましい成功を収めています。
しかし、現在の NMT システムは信頼性に欠けるという問題があります。その出力は、入力の字句または構文の変更の影響を受けることが多く、その結果、品質に大きなばらつきが生じます。
この制限は、NMT の実用性と信頼性を妨げます。
この問題の要因は、1 対 1 のパラダイムでトレーニングされた NMT モデルが、同じ意味を持つ入力が異なる方法で表現されるソースの多様性現象を処理するのに苦労していることです。
この作業では、この問題をバイレベル最適化問題として扱い、それに対処するために、モデルに依存しないメタ学習 (MAML) アルゴリズムから派生した一貫性を意識したメタ学習 (CAML) フレームワークを提示します。
具体的には、CAML を使用した NMT モデル (CoNMT と呼ばれる) は、最初に外側のループで意味的に同等の文の一貫したメタ表現を学習します。
その後、メタ表現から出力文へのマッピングが内部ループで学習され、NMT モデルが意味的に同等の文を同じターゲット文に翻訳できるようになります。
NIST の中国語から英語へのタスク、3 つの WMT 翻訳タスク、および TED M2O タスクで実験を行います。
結果は、CoNMT が全体的な翻訳品質を効果的に改善し、多様な入力を確実に処理することを示しています。

要約(オリジナル)

Neural machine translation (NMT) has achieved remarkable success in producing high-quality translations. However, current NMT systems suffer from a lack of reliability, as their outputs that are often affected by lexical or syntactic changes in inputs, resulting in large variations in quality. This limitation hinders the practicality and trustworthiness of NMT. A contributing factor to this problem is that NMT models trained with the one-to-one paradigm struggle to handle the source diversity phenomenon, where inputs with the same meaning can be expressed differently. In this work, we treat this problem as a bilevel optimization problem and present a consistency-aware meta-learning (CAML) framework derived from the model-agnostic meta-learning (MAML) algorithm to address it. Specifically, the NMT model with CAML (named CoNMT) first learns a consistent meta representation of semantically equivalent sentences in the outer loop. Subsequently, a mapping from the meta representation to the output sentence is learned in the inner loop, allowing the NMT model to translate semantically equivalent sentences to the same target sentence. We conduct experiments on the NIST Chinese to English task, three WMT translation tasks, and the TED M2O task. The results demonstrate that CoNMT effectively improves overall translation quality and reliably handles diverse inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google