Evaluating Optimal Reference Translations

要約

現在の機械翻訳 (MT) システムが高リソース言語ペアに対して達成する全体的な翻訳品質は、非常に優れています。
標準的な評価方法は、未だに残っている多くの翻訳エラーや品質欠陥を明らかにするのには適しておらず、またそれを明らかにすることを目的としていません。
さらに、標準的な参考翻訳の品質には一般的に疑問があり、いくつかの言語ペアでは MT だけで同等の品質レベルに達しています。
したがって、これらの高リソース環境でさらなる研究を進めることは困難です。
この記事では、「人間による翻訳の品質」とみなすべき基準を高めるという単純な目的で、「最適参考翻訳」と呼ばれる、より信頼性の高い文書レベルの人による参照翻訳を作成するための方法論を提案します。
取得した文書レベルの最適な参考翻訳を「標準」のものと比較して評価し、品質の大幅な向上を確認し、評価と翻訳編集の関係も文書化します。

要約(オリジナル)

The overall translation quality reached by current machine translation (MT) systems for high-resourced language pairs is remarkably good. Standard methods of evaluation are not suitable nor intended to uncover the many translation errors and quality deficiencies that still persist. Furthermore, the quality of standard reference translations is commonly questioned and comparable quality levels have been reached by MT alone in several language pairs. Navigating further research in these high-resource settings is thus difficult. In this article, we propose a methodology for creating more reliable document-level human reference translations, called ‘optimal reference translations,’ with the simple aim to raise the bar of what should be deemed ‘human translation quality.’ We evaluate the obtained document-level optimal reference translations in comparison with ‘standard’ ones, confirming a significant quality increase and also documenting the relationship between evaluation and translation editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google