Improving Long Context Document-Level Machine Translation

要約

ニューラル機械翻訳 (NMT) の文書レベルのコンテキストは、翻訳の一貫性と凝集性、あいまいな入力の翻訳、およびその他のいくつかの言語現象を改善するために非常に重要です。
文書レベルの NMT をテーマにした多くの作品が出版されていますが、そのほとんどはシステムをローカル コンテキストのみに制限しており、通常は追加情報として先行する 1 つまたは 2 つの文だけを含みます。
これは、一部のあいまいな入力を解決するには十分かもしれませんが、会話のトピックやスタイルなどのドキュメント レベルの情報を取得するにはおそらく十分ではありません。
ローカル コンテキストを超えてコンテキスト サイズを増やす場合、2 つの課題があります。(i) メモリ使用量が指数関数的に増加します。(ii) 翻訳パフォーマンスが低下し始めます。
私たちは、広く使用されている注意メカニズムが両方の問題の原因であると主張します。
したがって、シーケンスの最も関連性の高い部分に注意を集中させながら同時にメモリ消費を削減する、制約付き注意のバリアントを提案します。
評価には、対象を絞ったテストセットと新しい評価手法を組み合わせて利用し、特定の談話関連の現象に関する翻訳を分析します。
私たちのアプローチは、特にリソースが少ないシナリオでは、文レベルの NMT と完全なコンテキストに注意を払うことの間の適切な妥協点であることがわかりました。

要約(オリジナル)

Document-level context for neural machine translation (NMT) is crucial to improve the translation consistency and cohesion, the translation of ambiguous inputs, as well as several other linguistic phenomena. Many works have been published on the topic of document-level NMT, but most restrict the system to only local context, typically including just the one or two preceding sentences as additional information. This might be enough to resolve some ambiguous inputs, but it is probably not sufficient to capture some document-level information like the topic or style of a conversation. When increasing the context size beyond just the local context, there are two challenges: (i) the~memory usage increases exponentially (ii) the translation performance starts to degrade. We argue that the widely-used attention mechanism is responsible for both issues. Therefore, we propose a constrained attention variant that focuses the attention on the most relevant parts of the sequence, while simultaneously reducing the memory consumption. For evaluation, we utilize targeted test sets in combination with novel evaluation techniques to analyze the translations in regards to specific discourse-related phenomena. We find that our approach is a good compromise between sentence-level NMT vs attending to the full context, especially in low resource scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google