Advancing Translation Preference Modeling with RLHF: A Step Towards Cost-Effective Solution

要約

機械翻訳では、忠実さ、表現力、優雅さが常に追求されています。
ただし、 \textit{BLEU} のような従来の指標は、翻訳品質に対する人間の好みと厳密には一致していません。
この論文では、人間のフィードバック (\textit{RLHF}) による強化学習を活用して翻訳品質を向上させる方法を検討します。
特にリソースが少ない言語の場合、人間による翻訳間の比較に関する大規模で高品質なデータセットを収集することは簡単ではありません。
この問題に対処するために、人間による翻訳と機械による翻訳を区別して報酬モデルを最適化する、費用対効果の高い嗜好学習戦略を提案します。
このようにして、報酬モデルは人間と比較した機械翻訳の欠点を学習し、その後の機械翻訳の改善を導きます。
実験結果は、\textit{RLHF} が翻訳品質を効果的に向上させることができ、この改善が \textit{RLHF} でトレーニングされていない他の翻訳方向に利益をもたらすことを示しています。
さらなる分析により、モデルの言語機能が嗜好学習において重要な役割を果たしていることが示されています。
強力な言語機能を備えた報酬モデルは、翻訳品質の微妙な違いをより敏感に学習し、人間の実際の翻訳の好みとよりよく一致させることができます。

要約(オリジナル)

Faithfulness, expressiveness, and elegance is the constant pursuit in machine translation. However, traditional metrics like \textit{BLEU} do not strictly align with human preference of translation quality. In this paper, we explore leveraging reinforcement learning with human feedback (\textit{RLHF}) to improve translation quality. It is non-trivial to collect a large high-quality dataset of human comparisons between translations, especially for low-resource languages. To address this issue, we propose a cost-effective preference learning strategy, optimizing reward models by distinguishing between human and machine translations. In this manner, the reward model learns the deficiencies of machine translation compared to human and guides subsequent improvements in machine translation. Experimental results demonstrate that \textit{RLHF} can effectively enhance translation quality and this improvement benefits other translation directions not trained with \textit{RLHF}. Further analysis indicates that the model’s language capabilities play a crucial role in preference learning. A reward model with strong language capabilities can more sensitively learn the subtle differences in translation quality and align better with real human translation preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google