Quality Control at Your Fingertips: Quality-Aware Translation Models

要約

Maximum-a-posteriori (MAP) デコードは、ニューラル機械翻訳 (NMT) モデルで最も広く使用されているデコード戦略です。
根底にある仮定は、モデルの確率は人間の判断とよく相関しており、より良い翻訳が得られる可能性が高いということです。
ただし、この仮定が常に成り立つわけではなく、最小ベイズ リスク (MBR) や品質を意識したデコードなどの効用関数を直接最適化するデコード戦略は、標準の MAP デコードよりも翻訳品質を大幅に向上できることが研究によって示されています。
これらの方法の主な欠点は、ユーティリティを予測するための追加のモデルと、デコード中に追加の手順が必要となり、プロセス全体の計算負荷が高くなるということです。
この論文では、NMT モデル自体の出力の品質を推定するようにトレーニングすることで、NMT モデル自体の品質を認識させることを提案します。
デコード中に、モデル独自の品質推定値を使用して生成プロセスをガイドし、可能な限り最高品質の翻訳を生成できます。
モデルが翻訳中に独自の出力を自己評価できるため、別個の品質推定モデルの必要性がなくなることを示します。
さらに、この品質信号を MAP デコード中にプロンプ​​トとして使用すると、翻訳品質が大幅に向上する可能性があることを示します。
MBR デコード中に内部品質推定を使用して仮説空間を枝刈りすると、翻訳品質がさらに向上するだけでなく、推論速度も 2 桁削減できます。

要約(オリジナル)

Maximum-a-posteriori (MAP) decoding is the most widely used decoding strategy for neural machine translation (NMT) models. The underlying assumption is that model probability correlates well with human judgment, with better translations being more likely. However, research has shown that this assumption does not always hold, and decoding strategies which directly optimize a utility function, like Minimum Bayes Risk (MBR) or Quality-Aware decoding can significantly improve translation quality over standard MAP decoding. The main disadvantage of these methods is that they require an additional model to predict the utility, and additional steps during decoding, which makes the entire process computationally demanding. In this paper, we propose to make the NMT models themselves quality-aware by training them to estimate the quality of their own output. During decoding, we can use the model’s own quality estimates to guide the generation process and produce the highest-quality translations possible. We demonstrate that the model can self-evaluate its own output during translation, eliminating the need for a separate quality estimation model. Moreover, we show that using this quality signal as a prompt during MAP decoding can significantly improve translation quality. When using the internal quality estimate to prune the hypothesis space during MBR decoding, we can not only further improve translation quality, but also reduce inference speed by two orders of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google