Rethinking Round-Trip Translation for Machine Translation Evaluation

要約

低リソース言語翻訳の自動評価は、対訳コーパスの不足に悩まされています。
往復翻訳は、並列評価コーパスの要件を軽減するための賢明で簡単な手法として機能する可能性があります。
しかし、統計的機械翻訳 (SMT) の時代には、順翻訳と往復翻訳による評価スコアの間に不明確な相関関係が観察されました。
この論文では、往復翻訳を参照なしの自動評価に使用できるという驚くべき発見を報告します。
まず、SMT 評価における往復変換を再検討すると、その長年にわたる誤解が本質的にコピー メカニズムによって引き起こされていることが明らかになります。
SMT のコピー メカニズムを削除した後、ラウンドトリップ翻訳スコアは順方向翻訳パフォーマンスを適切に反映できます。
次に、往復翻訳が複数の機械翻訳評価タスクに利益をもたらす可能性があるため、修正が期限切れであることを示します。
より具体的には、往復翻訳を使用して、i) 対応する前方翻訳スコアを予測することができます。
ii) 最近進歩した品質推定モデルのパフォーマンスを向上させる。
iii) システム間の検証を通じて、共有タスクにおける敵対的な競合他社を特定する。

要約(オリジナル)

Automatic evaluation on low-resource language translation suffers from a deficiency of parallel corpora. Round-trip translation could be served as a clever and straightforward technique to alleviate the requirement of the parallel evaluation corpus. However, there was an observation of obscure correlations between the evaluation scores by forward and round-trip translations in the era of statistical machine translation (SMT). In this paper, we report the surprising finding that round-trip translation can be used for automatic evaluation without the references. Firstly, our revisit on the round-trip translation in SMT evaluation unveils that its long-standing misunderstanding is essentially caused by copying mechanism. After removing copying mechanism in SMT, round-trip translation scores can appropriately reflect the forward translation performance. Then, we demonstrate the rectification is overdue as round-trip translation could benefit multiple machine translation evaluation tasks. To be more specific, round-trip translation could be used i) to predict corresponding forward translation scores; ii) to improve the performance of the recently advanced quality estimation model; and iii) to identify adversarial competitors in shared tasks via cross-system verification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google