Linear-time Minimum Bayes Risk Decoding with Reference Aggregation

要約

最小ベイズ リスク (MBR) デコードは、機械翻訳の品質を向上させることが証明されているテキスト生成手法ですが、サンプリング ベースの近似を使用した場合でも高価です。
多数のサンプリングされたシーケンスを必要とすることに加えて、二次計算量を持つユーティリティ メトリックのペアごとの計算が必要です。
この論文では、集約された参照表現に対して計算されたスコアを使用して、ペアワイズ メトリック スコアを近似することを提案します。
これにより、MBR デコードの品質向上のほとんどが経験的に維持されながら、ユーティリティ推定の複雑さが $O(n^2)$ から $O(n)$ に変更されます。
ソースコードは https://github.com/ZurichNLP/mbr で公開しています。

要約(オリジナル)

Minimum Bayes Risk (MBR) decoding is a text generation technique that has been shown to improve the quality of machine translations, but is expensive, even if a sampling-based approximation is used. Besides requiring a large number of sampled sequences, it requires the pairwise calculation of a utility metric, which has quadratic complexity. In this paper, we propose to approximate pairwise metric scores with scores calculated against aggregated reference representations. This changes the complexity of utility estimation from $O(n^2)$ to $O(n)$, while empirically preserving most of the quality gains of MBR decoding. We release our source code at https://github.com/ZurichNLP/mbr

arxiv情報

提供元, 利用サービス

arxiv.jp, Google