Don’t throw away your value model! Making PPO even better via Value-Guided Monte-Carlo Tree Search decoding

要約

近接ポリシー最適化 (PPO) などの最先端の強化学習に基づいて自然言語テキストを生成する場合、モンテカルロ木検索 (MCTS) などの推論時検索アルゴリズムは不必要に見えるかもしれません。
このペーパーでは、MCTS を最上位に統合することで PPO から追加のマイレージを得ることが可能であることを実証します。
重要なアイデアは、ポリシー ネットワークからテキストをデコードするときに、部分的な出力シーケンスを評価するための PPO トレーニングの副産物である値ネットワークを捨てないことです。
より具体的には、PPO-MCTSと呼ばれる新しい値ガイド型デコードアルゴリズムを提案します。これは、PPOからの値ネットワークを統合して、推論時の生成中にポリシーネットワークと緊密に連携できます。
制御されたテキスト生成のための MCTS に基づく従来のアプローチと比較して、私たちのアプローチの主な長所は、トレーニングとテストの間の部分出力のスコアリング メカニズムの根本的な不一致を軽減できることです。
4 つのテキスト生成タスクの評価では、PPO ポリシーのみを使用する標準的な方法と比較して、PPO-MCTS が生成されるテキストの優先度を大幅に向上させることが示されています。
私たちの結果は、PPO の調整された言語モデルの上でも検索アルゴリズムが有望であること、およびバリュー ネットワークの十分に検討されていない利点を示しています。

要約(オリジナル)

Inference-time search algorithms such as Monte-Carlo Tree Search (MCTS) may seem unnecessary when generating natural language text based on state-of-the-art reinforcement learning such as Proximal Policy Optimization (PPO). In this paper, we demonstrate that it is possible to get extra mileage out of PPO by integrating MCTS on top. The key idea is not to throw out the value network, a byproduct of PPO training for evaluating partial output sequences, when decoding text out of the policy network. More concretely, we present a novel value-guided decoding algorithm called PPO-MCTS, which can integrate the value network from PPO to work closely with the policy network during inference-time generation. Compared to prior approaches based on MCTS for controlled text generation, the key strength of our approach is to reduce the fundamental mismatch of the scoring mechanisms of the partial outputs between training and test. Evaluation on four text generation tasks demonstrate that PPO-MCTS greatly improves the preferability of generated text compared to the standard practice of using only the PPO policy. Our results demonstrate the promise of search algorithms even on top of the aligned language models from PPO, and the under-explored benefit of the value network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google