Reward Dropout Improves Control: Bi-objective Perspective on Reinforced LM

要約

私たちは、強化言語モデル (RLM) の理論的側面を二目的最適化の観点から研究します。
具体的には、RLM を、2 つの相反する目標、つまり報酬目標と尤度目標を同時に最大化するパレート最適化問題として考えます。
私たちの主な貢献は 3 つの部分で構成されています。
まず、報酬上限 (RUBO) とパレート最適性を提示することにより、パレート最適化問題として RLM の理論的基礎を確立します。
私たちの理論的成果は、演繹的証明だけでなく、経験的結果によっても裏付けられています。
次に、RLM の双目的最適化の向上を保証するシンプルかつ強力な方法である報酬ドロップアウトを提案します。
最後に、報酬ドロップアウトが 5 つのベンチマーク データセットと 4 つのベンチマーク LLM にわたって一貫して有効であることを示します。これは、報酬ドロップアウトが RLM の最適化パフォーマンスを大幅に向上させることを意味します。

要約(オリジナル)

We study the theoretical aspects of Reinforced Language Models (RLMs) from a bi-objective optimization perspective. Specifically, we consider the RLMs as a Pareto optimization problem that maximizes the two conflicting objectives, i.e., reward objective and likelihood objectives, simultaneously. Our main contribution consists of three parts. First, we establish the theoretical foundations of RLM as a Pareto optimization problem by presenting Reward Upper BOund (RUBO) and Pareto optimality. Our theoretical outcomes are supported by not only deductive proofs but also empirical results. Second, we propose Reward Dropout, a simple yet powerful method that guarantees to improve a bi-objective optimization of RLM. Lastly, we demonstrate that the Reward Dropout is consistently effective across five benchmark datasets and four benchmark LLMs, meaning that the Reward Dropout significantly improves the optimization performance of RLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google