Robust Reward Alignment via Hypothesis Space Batch Cutting

要約

強化学習と最適な制御エージェントの報酬設計は困難です。
選好ベースのアライメントは、エージェントが人間が提供するランク付けされた軌道ペアから報酬を学ぶことができるようにすることにより、これに対処します。
ただし、既存の方法は、堅牢性の低さから未知の誤った人間の好みに苦しんでいることがよくあります。
この作業では、斬新で幾何学的に解釈可能な視点に基づいて、堅牢で効率的な報酬アライメント方法を提案します：仮説スペースバッチ切断。
私たちの方法は、人間の好みのバッチに基づいて「カット」を介して報酬仮説空間を繰り返し洗練します。
各バッチ内で、意見の相違に基づいて照会された人間の好みは、投票機能を使用してグループ化され、適切なカットを決定し、境界のある人間のクエリの複雑さを確保します。
不明な誤った好みを処理するために、各バッチ内に保守的な切断方法を導入し、誤った人間の好みが仮説空間を過度に攻撃的に削減するのを防ぎます。
これにより、誤った好みに対する証明可能な堅牢性が保証されます。
DMコントロール、手の操縦、および移動など、さまざまなタスク全体のモデル予測制御設定での方法を評価します。
結果は、私たちのフレームワークが、エラーのない設定で最先端の方法と同等または優れたパフォーマンスを達成し、誤った人間の好みの高い割合を処理する際に既存の方法を大幅に上回ることを示しています。

要約(オリジナル)

Reward design for reinforcement learning and optimal control agents is challenging. Preference-based alignment addresses this by enabling agents to learn rewards from ranked trajectory pairs provided by humans. However, existing methods often struggle from poor robustness to unknown false human preferences. In this work, we propose a robust and efficient reward alignment method based on a novel and geometrically interpretable perspective: hypothesis space batched cutting. Our method iteratively refines the reward hypothesis space through ‘cuts’ based on batches of human preferences. Within each batch, human preferences, queried based on disagreement, are grouped using a voting function to determine the appropriate cut, ensuring a bounded human query complexity. To handle unknown erroneous preferences, we introduce a conservative cutting method within each batch, preventing erroneous human preferences from making overly aggressive cuts to the hypothesis space. This guarantees provable robustness against false preferences. We evaluate our method in a model predictive control setting across diverse tasks, including DM-Control, dexterous in-hand manipulation, and locomotion. The results demonstrate that our framework achieves comparable or superior performance to state-of-the-art methods in error-free settings while significantly outperforming existing method when handling high percentage of erroneous human preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google