Investigating Length Issues in Document-level Machine Translation

要約

Transformer アーキテクチャは、非常に長いテキストの処理と生成においてますます効率的になっており、ドキュメント レベルの機械翻訳 (MT) に新しい視点をもたらします。
この研究では、最大数千のトークンで構成されるテキストを処理する MT システムの能力に挑戦します。
私たちは、MT 出力に対する長さの増加の影響を正確に測定するための新しいアプローチを設計および実装します。
2 つの代表的なアーキテクチャを使用した実験では、(a) 入力テキストの長さに応じて翻訳パフォーマンスが低下することが明確に示されています。
(b) ～文書内の文の位置が重要であり、文書内で前にある文ほど翻訳の品質が高くなります。
さらに、文書の長さの分布と位置的な埋め込みの分布を操作しても、そのような問題はほんのわずかに軽減されるだけであることを示します。
私たちの結果は、文書レベルの MT は計算的には実現可能ではあるものの、文ベースの MT のパフォーマンスにはまだ及ばないことを示唆しています。

要約(オリジナル)

Transformer architectures are increasingly effective at processing and generating very long chunks of texts, opening new perspectives for document-level machine translation (MT). In this work, we challenge the ability of MT systems to handle texts comprising up to several thousands of tokens. We design and implement a new approach designed to precisely measure the effect of length increments on MT outputs. Our experiments with two representative architectures unambiguously show that (a)~translation performance decreases with the length of the input text; (b)~the position of sentences within the document matters and translation quality is higher for sentences occurring earlier in a document. We further show that manipulating the distribution of document lengths and of positional embeddings only marginally mitigates such problems. Our results suggest that even though document-level MT is computationally feasible, it does not yet match the performance of sentence-based MT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google