Iterative Reasoning Preference Optimization

要約

反復優先最適化手法は、一般的な命令調整タスクでは良好に機能することが最近示されていますが、通常、推論タスクではほとんど改善されません (Yuan et al., 2024、Chen et al., 2024)。
この研究では、正解に導く勝敗推論ステップを最適化することで、競合する生成された思考連鎖 (CoT) 候補間の優先順位を最適化する反復アプローチを開発します。
私たちは、重要であることが判明した追加の負の対数尤度項を備えた修正 DPO 損失 (Rafailov et al., 2023) を使用してトレーニングします。
このスキームを繰り返すことで推論が改善されることを示します。
トレーニング セット内の例のみに依存しながら、私たちのアプローチにより、Llama-2-70B-Chat の GSM8K、MATH、および ARC-Challenge の精度が向上し、追加のデータセットに依存しない他の Llama-2 ベースのモデルよりも優れたパフォーマンスを発揮します。
たとえば、GSM8K では 55.6% から 81.6% への大幅な改善が見られ、32 個のサンプルの多数決で 88.7% の精度が得られました。

要約(オリジナル)

Iterative preference optimization methods have recently been shown to perform well for general instruction tuning tasks, but typically make little improvement on reasoning tasks (Yuan et al., 2024, Chen et al., 2024). In this work we develop an iterative approach that optimizes the preference between competing generated Chain-of-Thought (CoT) candidates by optimizing for winning vs. losing reasoning steps that lead to the correct answer. We train using a modified DPO loss (Rafailov et al., 2023) with an additional negative log-likelihood term, which we find to be crucial. We show reasoning improves across repeated iterations of this scheme. While only relying on examples in the training set, our approach results in increasing accuracy on GSM8K, MATH, and ARC-Challenge for Llama-2-70B-Chat, outperforming other Llama-2-based models not relying on additionally sourced datasets. For example, we see a large improvement from 55.6% to 81.6% on GSM8K and an accuracy of 88.7% with majority voting out of 32 samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google