When Does Translation Require Context? A Data-driven, Multilingual Exploration

要約

談話の適切な処理は機械翻訳 (MT) の品質に大きく貢献しますが、これらの改善は一般的な翻訳品質指標では適切に測定されていません。
文脈認識型 MT の最近の研究では、評価中に少数の談話現象を対象にしようとしていますが、完全に体系的な方法ではありません。
この論文では、特定のデータセット内の談話現象に対するモデルのパフォーマンスを特定して評価する一連のタガーである Multilingual Discourse-Aware (MuDA) ベンチマークを開発します。
現象の選択は、コンテキストを必要とする翻訳を体系的に識別するための新しい方法論に触発されています。
私たちは、以前に研究された現象の難しさを確認すると同時に、これまで対処されていなかった他の現象を明らかにします。
一般的なコンテキスト認識型 MT モデルは、コンテキスト非依存型モデルに比べてわずかな改善しか行っていないことがわかりました。これは、これらのモデルがこれらの曖昧さを効果的に処理していないことを示唆しています。
MT コミュニティが談話現象を正確に捉えることに重点を置くことを奨励するために、14 の言語ペアのコードとデータをリリースします。

要約(オリジナル)

Although proper handling of discourse significantly contributes to the quality of machine translation (MT), these improvements are not adequately measured in common translation quality metrics. Recent works in context-aware MT attempt to target a small set of discourse phenomena during evaluation, however not in a fully systematic way. In this paper, we develop the Multilingual Discourse-Aware (MuDA) benchmark, a series of taggers that identify and evaluate model performance on discourse phenomena in any given dataset. The choice of phenomena is inspired by a novel methodology to systematically identify translations requiring context. We confirm the difficulty of previously studied phenomena while uncovering others that were previously unaddressed. We find that common context-aware MT models make only marginal improvements over context-agnostic models, which suggests these models do not handle these ambiguities effectively. We release code and data for 14 language pairs to encourage the MT community to focus on accurately capturing discourse phenomena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google