Context-Aware Monolingual Human Evaluation of Machine Translation

要約

このペーパーでは、参照のためのソースが与えられていないときに、機械翻訳（MT）を評価するための文脈を認識している単一言語の人間の評価の可能性を探ります。
この目的のために、単一言語をバイリンガル評価（ソーステキストを含む）と比較します。単一のMTシステムの評価と、ペアワイズMTシステムの比較評価です。
4人のプロの翻訳者が、評価を割り当ててエラーに注釈を付け、経験に関するフィードバックを提供することにより、単一言語とバイリンガルの両方の評価を実行しました。
我々の調査結果は、文脈を認識している単言語の人間の評価が、人間のバイリンガル評価に匹敵する結果を達成し、MTを評価するための効率的なアプローチとしての単一言語評価の実現可能性と可能性を示唆することを示唆しています。

要約(オリジナル)

This paper explores the potential of context-aware monolingual human evaluation for assessing machine translation (MT) when no source is given for reference. To this end, we compare monolingual with bilingual evaluations (with source text), under two scenarios: the evaluation of a single MT system, and the comparative evaluation of pairwise MT systems. Four professional translators performed both monolingual and bilingual evaluations by assigning ratings and annotating errors, and providing feedback on their experience. Our findings suggest that context-aware monolingual human evaluation achieves comparable outcomes to human bilingual evaluations, and suggest the feasibility and potential of monolingual evaluation as an efficient approach to assessing MT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google