Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization

要約

強化学習 (RL) では、エージェントには予測可能な動作を示すインセンティブがなく、多くの場合 (ポリシーのエントロピー正則化などを通じて) 探索を優先してアクションをランダム化するよう促されます。
人間の観点から見ると、これにより RL エージェントの解釈と予測が難しくなり、安全性の観点からは正式に検証することがさらに難しくなります。
我々は、状態シーケンスのエントロピー率を予測可能性の尺度として使用する、予測可能性認識 RL (PA-RL) と呼ばれる、RL エージェントに予測可能な動作を誘導するための新しい方法を提案します。
エントロピー率が平均報酬目標としてどのように定式化できるかを示し、そのエントロピー報酬関数は政策に依存するため、PG 手法の使用を可能にするアクション依存の代理エントロピーを導入します。
平均代理報酬を最小化する決定論的ポリシーが存在し、実際のエントロピー レートも最小化することを証明し、学習された動的モデルが与えられた場合に、真のエントロピー レートに関連付けられた価値関数をどのように近似できるかを示します。
最後に、人間とロボットのユースケースにヒントを得た RL タスクにおけるこのアプローチの有効性を実証し、最適に近い報酬を達成しながら、より予測可能な動作を持つエージェントを生成する方法を示します。

要約(オリジナル)

In Reinforcement Learning (RL), agents have no incentive to exhibit predictable behaviors, and are often pushed (through e.g. policy entropy regularization) to randomize their actions in favor of exploration. From a human perspective, this makes RL agents hard to interpret and predict, and from a safety perspective, even harder to formally verify. We propose a novel method to induce predictable behavior in RL agents, referred to as Predictability-Aware RL (PA-RL), which employs the state sequence entropy rate as a predictability measure. We show how the entropy rate can be formulated as an average reward objective, and since its entropy reward function is policy-dependent, we introduce an action-dependent surrogate entropy enabling the use of PG methods. We prove that deterministic policies minimizing the average surrogate reward exist and also minimize the actual entropy rate, and show how, given a learned dynamical model, we are able to approximate the value function associated to the true entropy rate. Finally, we demonstrate the effectiveness of the approach in RL tasks inspired by human-robot use-cases, and show how it produces agents with more predictable behavior while achieving near-optimal rewards.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google