In-Trajectory Inverse Reinforcement Learning: Learn Incrementally Before An Ongoing Trajectory Terminates

要約

逆強化学習 (IRL) は、専門家の実証された軌跡に最も適合する報酬関数と対応するポリシーを学習することを目的としています。
ただし、現在の IRL 作品は、学習するために少なくとも 1 つの完全な軌跡を収集するまで待たなければならないため、進行中の軌跡から段階的に学習することはできません。
このギャップを埋めるために、この論文では、進行中の軌道の初期状態と行動のペアを観察しながら、進行中の軌道の新しい状態と行動のペアが追加されたときに、学習した報酬とポリシーを更新し続けながら、報酬関数と対応するポリシーを学習する問題を検討します。
観察された。
この問題は、オンラインの 2 レベルの最適化問題として定式化されます。この問題では、上位レベルがメタ正則化項の助けを借りて、新たに観察された状態と行動のペアに従って学習された報酬を動的に調整し、下位レベルが対応するポリシーを学習します。
我々は、この問題を解決するための新しいアルゴリズムを提案し、そのアルゴリズムが線形未満の局所リグレア $O(\sqrt{T}+\log T+\sqrt{T}\log T)$ を達成することを保証します。
報酬関数が線形の場合、提案されたアルゴリズムが線形未満の後悔 $O(\log T)$ を達成することが証明されます。
提案されたアルゴリズムを検証するために実験が使用されます。

要約(オリジナル)

Inverse reinforcement learning (IRL) aims to learn a reward function and a corresponding policy that best fit the demonstrated trajectories of an expert. However, current IRL works cannot learn incrementally from an ongoing trajectory because they have to wait to collect at least one complete trajectory to learn. To bridge the gap, this paper considers the problem of learning a reward function and a corresponding policy while observing the initial state-action pair of an ongoing trajectory and keeping updating the learned reward and policy when new state-action pairs of the ongoing trajectory are observed. We formulate this problem as an online bi-level optimization problem where the upper level dynamically adjusts the learned reward according to the newly observed state-action pairs with the help of a meta-regularization term, and the lower level learns the corresponding policy. We propose a novel algorithm to solve this problem and guarantee that the algorithm achieves sub-linear local regret $O(\sqrt{T}+\log T+\sqrt{T}\log T)$. If the reward function is linear, we prove that the proposed algorithm achieves sub-linear regret $O(\log T)$. Experiments are used to validate the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google