PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

要約

嗜好ベースの強化学習（PBRL）は、事前定義された報酬機能なしに、人間のフィードバックからの学習行動の有望なアプローチとして浮上しています。
ただし、現在のPBRLメソッドは、優先空間を効果的に調査する上で重要な課題に直面しており、多くの場合、人間の好みの狭いサブセットのみを満たす最適ではないポリシーに早期に収束します。
この作業では、人口ベースの方法を通じてこの選好探査の問題を特定して対処します。
エージェントの多様な集団を維持することにより、単一のエージェントアプローチと比較して、優先環境のより包括的な調査が可能になることを実証します。
重要なことに、この多様性は、明確に区別可能な動作を備えた優先クエリを生成することにより、報酬モデルの学習を改善します。これは、人間が意味のあるフィードバックを提供するためにオプションを簡単に区別しなければならない現実世界のシナリオの重要な要因です。
私たちの実験では、現地のオプティマに閉じ込められ、過度のフィードバックを必要とすることで現在の方法が失敗する可能性があることが明らかになり、人間の評価者が同様の軌跡でエラーを犯した場合に大幅に分解します。
私たちの人口ベースのアプローチは、教師が同様の軌跡セグメントを誤ってラベル付けし、特に複雑な報酬景観を持つ環境で嗜好探査機能を大幅に強化したときに堅牢なパフォーマンスを示します。

要約(オリジナル)

Preference-based reinforcement learning (PbRL) has emerged as a promising approach for learning behaviors from human feedback without predefined reward functions. However, current PbRL methods face a critical challenge in effectively exploring the preference space, often converging prematurely to suboptimal policies that satisfy only a narrow subset of human preferences. In this work, we identify and address this preference exploration problem through population-based methods. We demonstrate that maintaining a diverse population of agents enables more comprehensive exploration of the preference landscape compared to single-agent approaches. Crucially, this diversity improves reward model learning by generating preference queries with clearly distinguishable behaviors, a key factor in real-world scenarios where humans must easily differentiate between options to provide meaningful feedback. Our experiments reveal that current methods may fail by getting stuck in local optima, requiring excessive feedback, or degrading significantly when human evaluators make errors on similar trajectories, a realistic scenario often overlooked by methods relying on perfect oracle teachers. Our population-based approach demonstrates robust performance when teachers mislabel similar trajectory segments and shows significantly enhanced preference exploration capabilities,particularly in environments with complex reward landscapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google