Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

要約

大規模言語モデル (LLM) のテスト時間スケーリングの一般的な戦略である Best-of-N (BoN) サンプリングは、報酬モデルに依存して複数の世代から最適な候補ソリューションを選択します。
ただし、従来の報酬モデルでは恣意的で一貫性のないスコアが割り当てられることが多く、その有効性が制限されています。
これに対処するために、BoN サンプリングのノックアウト トーナメントと組み合わせたペアワイズ報酬モデル (ペアワイズ RM) を提案します。
1 つの数学問題が与えられた場合に、絶対スコアを割り当てる代わりに、Pairwise RM は 2 つの候補解の正しさを同時に評価します。
このアプローチにより、任意のスコアリングの必要性がなくなり、並行比較によるソリューションの相互検証が可能になります。
ノックアウト トーナメントでは、Pairwise RM は候補解間のペアワイズ比較を実行し、間違った解を繰り返し排除します。
NumiaMath から派生し、\texttt{gemini-1.5-flash} を使用して注釈を付けた 443K のペアワイズ比較の大規模データセットである \ourdataset を構築し、教師あり微調整を通じてペアワイズ RM をトレーニングします。
MATH-500 とオリンピックベンチの実験では、従来の差別的報酬モデルに比べて大幅な改善が実証されました。
また、上位 50\% の難しい問題では 40\% から 60\% の相対的な改善が達成されます。

要約(オリジナル)

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions’ correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using \texttt{gemini-1.5-flash}, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google