Generating Diverse Translation with Perturbed kNN-MT

要約

複数の翻訳候補を生成することで、ユーザーはニーズを満たすものを選択できるようになります。
多様な生成に関する研究が行われてきましたが、主に以前の方法が過剰補正問題に対処していないため、多様性を改善する余地が存在します。モデルは、トレーニング データと大きく異なる予測を、たとえその予測が可能性が高い場合でも過小評価します。
本稿では、摂動k最近傍機械翻訳(kNN-MT)を導入することで、より多様な翻訳を生成する手法を提案する。
私たちの方法は、kNN-MTの検索空間を拡張し、過剰修正問題に対処することで多様な単語を候補に組み込むのに役立ちます。
私たちの実験は、提案された方法が候補の多様性を大幅に改善し、摂動の大きさを調整することによって多様性の程度を制御することを示しています。

要約(オリジナル)

Generating multiple translation candidates would enable users to choose the one that satisfies their needs. Although there has been work on diversified generation, there exists room for improving the diversity mainly because the previous methods do not address the overcorrection problem — the model underestimates a prediction that is largely different from the training data, even if that prediction is likely. This paper proposes methods that generate more diverse translations by introducing perturbed k-nearest neighbor machine translation (kNN-MT). Our methods expand the search space of kNN-MT and help incorporate diverse words into candidates by addressing the overcorrection problem. Our experiments show that the proposed methods drastically improve candidate diversity and control the degree of diversity by tuning the perturbation’s magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google