A Bayesian Optimization Approach to Machine Translation Reranking

要約

外部スコアリングモデルを備えた機械翻訳システムの候補者のリストを再表示し、最高スコアの候補者を返すことは、全体的な出力品質を改善するためのシンプルで効果的な方法です。
翻訳スコアリングモデルはサイズが大きくなり続けており、最高のモデルは生成モデルに匹敵します。
したがって、翻訳パイプラインに相当な計算コストを追加することができます。
この作業では、レランクをベイジアン最適化（ベイソップ）の問題として提起します。
候補者を戦略的に選択して、探索と搾取のバランスに基づいて得点することにより、候補リストのほんの一部のみを採点する際に、トップスコアリングの候補者を見つけることが可能であることを示します。
たとえば、私たちの方法は、180を使用してベースラインシステムを比較した70のスコアリング評価を使用して同じCometkiwiスコアを達成します。Bayesoptの多忠実度設定を提示します。候補者は、より安価でノイジアなプロキシスコアリングモデルで最初にスコアを付けます。

要約(オリジナル)

Reranking a list of candidates from a machine translation system with an external scoring model and returning the highest-scoring candidate remains a simple and effective method for improving the overall output quality. Translation scoring models continue to grow in size, with the best models being comparable to generation models. Thus, reranking can add substantial computational cost to the translation pipeline. In this work, we pose reranking as a Bayesian optimization (BayesOpt) problem. By strategically selecting candidates to score based on a balance of exploration and exploitation, we show that it is possible to find top-scoring candidates when scoring only a fraction of the candidate list. For instance, our method achieves the same CometKiwi score using only 70 scoring evaluations compared a baseline system using 180. We present a multi-fidelity setting for BayesOpt, where the candidates are first scored with a cheaper but noisier proxy scoring model, which further improves the cost-performance tradeoff when using smaller but well-trained distilled proxy scorers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google