A Bayesian Optimization Approach to Machine Translation Reranking

要約

外部スコアリング モデルを使用して機械翻訳システムからの候補リストを再ランク付けし、最高スコアの候補を返すことは、依然として全体的な出力品質を向上させるためのシンプルで効果的な方法です。
翻訳スコアリング モデルのサイズは拡大し続けており、最良のモデルは世代モデルに匹敵します。
したがって、再ランキングにより、翻訳パイプラインにかなりの計算コストが追加される可能性があります。
この研究では、再ランキングをベイズ最適化 (BayesOpt) 問題として提起します。
探索と活用のバランスに基づいてスコアを付ける候補者を戦略的に選択することで、候補者リストの一部のみをスコアリングする場合でも、最高スコアの候補者を見つけることが可能であることを示します。
たとえば、私たちの方法は、180 を使用するベースライン システムと比較して、わずか 70 のスコアリング評価を使用して同じ CometKiwi スコアを達成します。BayesOpt のマルチ忠実度設定を提示します。この設定では、候補者は最初に安価だがノイズの多いプロキシ スコアリング モデルでスコア付けされ、これによりさらに改善されます。
小規模だが十分に訓練された蒸留プロキシ スコアラーを使用する場合のコスト パフォーマンスのトレードオフ。

要約(オリジナル)

Reranking a list of candidates from a machine translation system with an external scoring model and returning the highest-scoring candidate remains a simple and effective method for improving the overall output quality. Translation scoring models continue to grow in size, with the best models being comparable to generation models. Thus, reranking can add substantial computational cost to the translation pipeline. In this work, we pose reranking as a Bayesian optimization (BayesOpt) problem. By strategically selecting candidates to score based on a balance of exploration and exploitation, we show that it is possible to find top-scoring candidates when scoring only a fraction of the candidate list. For instance, our method achieves the same CometKiwi score using only 70 scoring evaluations compared a baseline system using 180. We present a multi-fidelity setting for BayesOpt, where the candidates are first scored with a cheaper but noisier proxy scoring model, which further improves the cost-performance tradeoff when using smaller but well-trained distilled proxy scorers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google