LS-IQ: Implicit Reward Regularization for Inverse Reinforcement Learning

要約

模倣学習の最近の方法は、明示的な報酬関数ではなく、暗黙的な報酬定式化を使用して $Q$ 関数を直接学習します。
ただし、これらの方法は一般に、安定性を向上させるために暗黙的な報酬の正則化を必要とし、しばしば吸収状態を誤って扱います。
以前の研究では、暗黙的な報酬関数の二乗ノルム正則化が効果的であることを示していますが、アルゴリズムの結果のプロパティの理論的分析は提供していません。
この作業では、ポリシーとエキスパートの混合分布の下でこの正則化を使用すると、特に明るい視点が提供されることを示します。元の目的は、ベルマン誤差の最小化の 2 乗として理解でき、対応する最適化問題は有界 $\chi^ を最小化します。
2$-エキスパートと混合分布の間の発散。
この観点により、不安定性に対処し、吸収状態を適切に扱うことができます。
私たちの方法である最小二乗逆 Q 学習 (LS-IQ) は、特に吸収状態のある環境で、最先端のアルゴリズムよりも優れていることを示しています。
最後に、逆動力学モデルを使用して観測のみから学習することを提案します。
このアプローチを使用して、専門家のアクションが利用できない設定でパフォーマンスを維持します。

要約(オリジナル)

Recent methods for imitation learning directly learn a $Q$-function using an implicit reward formulation rather than an explicit reward function. However, these methods generally require implicit reward regularization to improve stability and often mistreat absorbing states. Previous works show that a squared norm regularization on the implicit reward function is effective, but do not provide a theoretical analysis of the resulting properties of the algorithms. In this work, we show that using this regularizer under a mixture distribution of the policy and the expert provides a particularly illuminating perspective: the original objective can be understood as squared Bellman error minimization, and the corresponding optimization problem minimizes a bounded $\chi^2$-Divergence between the expert and the mixture distribution. This perspective allows us to address instabilities and properly treat absorbing states. We show that our method, Least Squares Inverse Q-Learning (LS-IQ), outperforms state-of-the-art algorithms, particularly in environments with absorbing states. Finally, we propose to use an inverse dynamics model to learn from observations only. Using this approach, we retain performance in settings where no expert actions are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google