Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus

要約

最近の論文のいくつかは、特に高リソース言語において、文レベルの機械翻訳 (MT) における人間の同等性を主張しています。
したがって、それに応じて、MT コミュニティは部分的に、焦点を文書レベルの翻訳に移しました。
文書の翻訳には、テキストの構造と意味をより深く理解する必要がありますが、これらは一貫性、一貫性、結束性などのさまざまな種類の談話現象によって把握されることがよくあります。
ただし、これにより、従来の文レベルの MT 評価ベンチマークは、コンテキスト認識型 MT システムのパフォーマンスを評価するには不十分になります。
この論文は、Jiang et al. で導入された大規模な並列コーパス BWB に基づいて構築された、豊富な談話注釈を備えた新しいデータセットを紹介します。
（2022年）。
新しい BWB アノテーションでは、実体、用語、共参照、引用という 4 つの追加の評価側面が導入され、両方の言語で 15,095 の実体への言及がカバーされます。
これらの注釈を使用して、ソース言語とターゲット言語の談話構造の類似点と相違点、およびそれらが MT にもたらす課題を体系的に調査します。
私たちは、MT の出力が潜在的な談話構造の点で人間の翻訳とは根本的に異なることを発見しました。
これにより、ドキュメント レベルの MT の課題と機会について新たな視点が得られます。
私たちは、ドキュメントレベルの MT における将来の研究と他の言語翻訳タスクへの一般化を促進するために、リソースを一般公開しています。

要約(オリジナル)

Several recent papers claim human parity at sentence-level Machine Translation (MT), especially in high-resource languages. Thus, in response, the MT community has, in part, shifted its focus to document-level translation. Translating documents requires a deeper understanding of the structure and meaning of text, which is often captured by various kinds of discourse phenomena such as consistency, coherence, and cohesion. However, this renders conventional sentence-level MT evaluation benchmarks inadequate for evaluating the performance of context-aware MT systems. This paper presents a new dataset with rich discourse annotations, built upon the large-scale parallel corpus BWB introduced in Jiang et al. (2022). The new BWB annotation introduces four extra evaluation aspects, i.e., entity, terminology, coreference, and quotation, covering 15,095 entity mentions in both languages. Using these annotations, we systematically investigate the similarities and differences between the discourse structures of source and target languages, and the challenges they pose to MT. We discover that MT outputs differ fundamentally from human translations in terms of their latent discourse structures. This gives us a new perspective on the challenges and opportunities in document-level MT. We make our resource publicly available to spur future research in document-level MT and the generalization to other language translation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google