Aligning Neural Machine Translation Models: Human Feedback in Training and Inference

要約

ヒューマン フィードバックからの強化学習 (RLHF) は、言語モデルによって生成されるテキストの品質を向上させ、人間が生成するものに近づける最近の手法です。
大規模言語モデル (LLM) の調整と改善における RLHF の成功の中核となる要素は、モデル出力に対する人間のフィードバックを使用してトレーニングされた報酬モデルです。
機械翻訳 (MT) では、ヒューマン アノテーションからトレーニングされたメトリクスを報酬モデルとして容易に使用できるため、最小ベイズ リスク デコードと再ランキングを使用する最近の手法が、翻訳の最終的な品質を向上させることに成功しました。
この研究では、品質指標を報酬モデルとして MT パイプラインに統合するための手法を包括的に調査および比較します。
これには、RL によるトレーニング段階でのデータ フィルタリング、および再ランキング手法の採用による推論時の報酬モデルの使用が含まれており、これらを統合したアプローチで組み合わせた効果を評価します。
複数の翻訳タスクにわたって実施された私たちの実験結果は、MT の品質を高める際に RL の可能性を最大限に活用する上で、推定された品質に基づいた効果的なデータ フィルタリングが重要な役割を果たしていることを強調しています。
さらに、私たちの調査結果は、RL トレーニングと再ランキング技術を組み合わせる効果が実証されており、翻訳品質が大幅に向上していることを示しています。

要約(オリジナル)

Reinforcement learning from human feedback (RLHF) is a recent technique to improve the quality of the text generated by a language model, making it closer to what humans would generate. A core ingredient in RLHF’s success in aligning and improving large language models (LLMs) is its reward model, trained using human feedback on model outputs. In machine translation (MT), where metrics trained from human annotations can readily be used as reward models, recent methods using minimum Bayes risk decoding and reranking have succeeded in improving the final quality of translation. In this study, we comprehensively explore and compare techniques for integrating quality metrics as reward models into the MT pipeline. This includes using the reward model for data filtering, during the training phase through RL, and at inference time by employing reranking techniques, and we assess the effects of combining these in a unified approach. Our experimental results, conducted across multiple translation tasks, underscore the crucial role of effective data filtering, based on estimated quality, in harnessing the full potential of RL in enhancing MT quality. Furthermore, our findings demonstrate the effectiveness of combining RL training with reranking techniques, showcasing substantial improvements in translation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google