Quality and Quantity of Machine Translation References for Automated Metrics

要約

自動機械翻訳メトリクスでは、多くの場合、人間による翻訳を使用して、システム翻訳の品質を決定します。
この分野の常識では、人間の参考資料は非常に高品質である必要があります。
しかし、機械翻訳の評価のための参考文献を収集しようと計画している実務者をガイドするために使用できる費用対効果の分析はありません。
質の高い参照は、セグメントレベルで人間との指標の相関関係が向上することがわかりました。
セグメントごとに最大 7 つの参照を持ち、それらの平均を取ると、すべてのメトリクスに役立ちます。
興味深いことに、さまざまな品質のベンダーからの参照を組み合わせて、指標の成功率を向上させることができます。
ただし、高品質の参照の作成にはより多くのコストがかかるため、これを最適化の問題として組み立てます。つまり、特定の予算が与えられた場合、指標の成功を最大化するにはどのような参照を収集する必要があるかということです。
これらの結果は、特定の予算内で参照を作成する必要がある場合に、共有タスクの評価者によって使用されます。

要約(オリジナル)

Automatic machine translation metrics often use human translations to determine the quality system translations. Common wisdom in the field dictates that the human references should be of very high quality. However, there are no cost-benefit analyses that could be used to guide practitioners who plan to collect references for machine translation evaluation. We find that higher-quality references lead to better metric correlations with humans at the segment-level. Having up to 7 references per segment and taking their average helps all metrics. Interestingly, the references from vendors of different qualities can be mixed together and improve metric success. Higher quality references, however, cost more to create and we frame this as an optimization problem: given a specific budget, what references should be collected to maximize metric success. These findings can be used by evaluators of shared tasks when references need to be created under a certain budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google