Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding

要約

最小ベイズリスク (MBR) デコーディングは、広範囲のテキスト生成タスクに対してビーム検索デコーディングに代わる強力な代替手段であることが示されています。
ただし、MBR は MBR 目標を計算するための推論に膨大な時間を必要とするため、応答時間が重要な多くの状況ではこの方法を実行できません。
信頼に基づく枝刈り (CBP) (Cheng and Vlachos、2023) は、機械翻訳タスクの推論時間を短縮するために最近提案されました。
計算量が大幅に削減されることが示されていますが、効果を得るには開発セットを使用したハイパーパラメータ調整が必要です。
この目的を達成するために、MBR デコードを近似的に実行するためのハイパーパラメータなしの方法である、近似最小ベイズリスク (AMBR) デコードを提案します。
AMBR は、サンプルベースの MBR 目標を計算する際の問題は medoid 同定問題であるという観察から導かれました。
AMBR は、medoid 同定問題のこれまでで最良の近似アルゴリズムである相関逐次半減 (CSH) アルゴリズム (Baharav and Tse、2019) を使用して、サンプルベースの MBR 目標を計算します。
機械翻訳、テキストの要約、画像キャプションのタスクに関して AMBR を評価します。
結果は、AMBR が CBP と同等の成果を達成し、CBP が与えられた計算予算ごとに Oracle を通じてハイパーパラメーターを選択することを示しています。

要約(オリジナル)

Minimum Bayes-Risk (MBR) decoding is shown to be a powerful alternative to beam search decoding for a wide range of text generation tasks. However, MBR requires a huge amount of time for inference to compute the MBR objective, which makes the method infeasible in many situations where response time is critical. Confidence-based pruning (CBP) (Cheng and Vlachos, 2023) has recently been proposed to reduce the inference time in machine translation tasks. Although it is shown to significantly reduce the amount of computation, it requires hyperparameter tuning using a development set to be effective. To this end, we propose Approximate Minimum Bayes-Risk (AMBR) decoding, a hyperparameter-free method to run MBR decoding approximately. AMBR is derived from the observation that the problem of computing the sample-based MBR objective is the medoid identification problem. AMBR uses the Correlated Sequential Halving (CSH) algorithm (Baharav and Tse, 2019), the best approximation algorithm to date for the medoid identification problem, to compute the sample-based MBR objective. We evaluate AMBR on machine translation, text summarization, and image captioning tasks. The results show that AMBR achieves on par with CBP, with CBP selecting hyperparameters through an Oracle for each given computation budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google