Linear-time Minimum Bayes Risk Decoding with Reference Aggregation

要約

最小ベイズリスク（MBR）復号は、機械翻訳の品質を向上させることが示されているテキスト生成技術であるが、サンプリングベースの近似を使用する場合でも高価である。多数のサンプリング配列を必要とすることに加え、2次的な複雑さを持つ効用メトリックのペアワイズ計算を必要とする。本論文では、集約された参照表現に対して計算されたスコアで、対ごとのメトリックスコアを近似することを提案する。これにより、MBR復号の品質向上の大部分を経験的に保持しながら、効用推定の複雑さを$O(n^2)$から$O(n)$に変更する。ソースコードを https://github.com/ZurichNLP/mbr で公開する。

要約(オリジナル)

Minimum Bayes Risk (MBR) decoding is a text generation technique that has been shown to improve the quality of machine translations, but is expensive, even if a sampling-based approximation is used. Besides requiring a large number of sampled sequences, it requires the pairwise calculation of a utility metric, which has quadratic complexity. In this paper, we propose to approximate pairwise metric scores with scores calculated against aggregated reference representations. This changes the complexity of utility estimation from $O(n^2)$ to $O(n)$, while empirically preserving most of the quality gains of MBR decoding. We release our source code at https://github.com/ZurichNLP/mbr

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL