Inverse Preference Learning: Preference-based RL without a Reward Function

要約

報酬関数は設計が難しく、多くの場合、人間の意図と一致させるのが困難です。
好みに基づく強化学習 (RL) アルゴリズムは、人間のフィードバックから報酬関数を学習することでこれらの問題に対処します。
ただし、嗜好ベースの RL 手法の大部分は、教師あり報酬モデルと既製の RL アルゴリズムを単純に組み合わせています。
現代のアプローチでは、トランスフォーマーなどのより大規模で複雑な報酬アーキテクチャを使用することで、パフォーマンスとクエリの複雑さを改善しようとしています。
非常に複雑なアーキテクチャを使用する代わりに、オフラインの嗜好データから学習するために特別に設計された、パラメータ効率の高い新しいアルゴリズムである逆嗜好学習 (IPL) を開発しました。
私たちの重要な洞察は、固定ポリシーの場合、$Q$ 関数が報酬関数に関するすべての情報をエンコードし、実質的にそれらを交換可能にするということです。
この洞察を使用すると、学習された報酬関数の必要性が完全に排除されます。
結果として得られるアルゴリズムは、よりシンプルでパラメーター効率が高くなります。
IPL は、一連の連続制御ベンチマークとロボット工学ベンチマーク全体で、アルゴリズム ハイパーパラメータと学習されたネットワーク パラメータを少なくしながら、トランスベースおよび非マルコフ報酬関数を活用するより複雑なアプローチと比較して、競争力のあるパフォーマンスを達成します。
私たちのコードは公開されています。

要約(オリジナル)

Reward functions are difficult to design and often hard to align with human intent. Preference-based Reinforcement Learning (RL) algorithms address these problems by learning reward functions from human feedback. However, the majority of preference-based RL methods na\’ively combine supervised reward models with off-the-shelf RL algorithms. Contemporary approaches have sought to improve performance and query complexity by using larger and more complex reward architectures such as transformers. Instead of using highly complex architectures, we develop a new and parameter-efficient algorithm, Inverse Preference Learning (IPL), specifically designed for learning from offline preference data. Our key insight is that for a fixed policy, the $Q$-function encodes all information about the reward function, effectively making them interchangeable. Using this insight, we completely eliminate the need for a learned reward function. Our resulting algorithm is simpler and more parameter-efficient. Across a suite of continuous control and robotics benchmarks, IPL attains competitive performance compared to more complex approaches that leverage transformer-based and non-Markovian reward functions while having fewer algorithmic hyperparameters and learned network parameters. Our code is publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google