Tell me why: Training preferences-based RL with human preferences and step-level explanations

要約

人間参加型の強化学習により、専門家でなくても、さまざまなインターフェイスを介してエージェントをトレーニングできます。
最近では、人間が 2 つの軌道よりも好みを指定する必要がある好みベースの方法 (PbRL) の人気が高まっています。これは、より直接的なフィードバックを定式化するのが難しい領域でのトレーニングを可能にするためです。
ただし、現在の PBRL 方法には限界があり、人間にフィードバックを与えるための表現力豊かなインターフェイスが提供されていません。
この研究により、私たちは人間に軌道に対する好みと事実の説明（またはその好みを持つ理由の注釈）を提供するためのより表現力豊かなインターフェイスを提供する、新しい好みに基づく学習方法を提案します。
これらの説明により、人間は軌道のどの部分が好みに最も関連しているかを説明できるようになります。
個々の軌跡ステップに関する説明の表現を許可します。
私たちは、シミュレートされた人間の神託（現実的な制限付き）を使用したさまざまなシミュレーションでこの方法を評価しました。その結果、拡張されたフィードバックにより学習速度が向上することがわかりました。

要約(オリジナル)

Human-in-the-loop reinforcement learning allows the training of agents through various interfaces, even for non-expert humans. Recently, preference-based methods (PbRL), where the human has to give his preference over two trajectories, increased in popularity since they allow training in domains where more direct feedback is hard to formulate. However, the current PBRL methods have limitations and do not provide humans with an expressive interface for giving feedback. With this work, we propose a new preference-based learning method that provides humans with a more expressive interface to provide their preference over trajectories and a factual explanation (or annotation of why they have this preference). These explanations allow the human to explain what parts of the trajectory are most relevant for the preference. We allow the expression of the explanations over individual trajectory steps. We evaluate our method in various simulations using a simulated human oracle (with realistic restrictions), and our results show that our extended feedback can improve the speed of learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google