Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation

要約

動的シフトの下でターゲット ドメインに展開するためにソース ドメインでポリシーをトレーニングすることは困難な場合があり、多くの場合パフォーマンスの低下を招きます。
以前の研究では、ソースとターゲットの最適な軌道の間の分布を一致させることによって得られる修正された報酬を使用してソース ドメインでトレーニングすることで、この課題に取り組みました。
ただし、純粋に変更された報酬は、ソース ドメインで学習されたポリシーの動作がターゲットの最適なポリシーによって生成された軌跡に似ていることを保証するだけであり、学習されたポリシーが実際にターゲット ドメインにデプロイされたときの最適なパフォーマンスは保証されません。
この研究では、模倣学習を利用して、報酬の変更から学習したポリシーをターゲット ドメインに転送し、新しいポリシーがターゲット ドメインで同じ軌道を生成できるようにすることを提案します。
私たちのアプローチであるドメイン適応と報酬拡張模倣学習 (DARAIL) は、ドメイン適応のための報酬修正を利用し、ポリシー最適化ステップに報酬拡張推定量を適用することにより、観察からの生成的敵対的模倣学習 (GAIfO) の一般的なフレームワークに従います。
理論的には、私たちの方法の動機を正当化するために、ダイナミクスの変化に関する穏やかな仮定の下で、私たちの方法の限界誤差を提示します。
経験的に、私たちの方法は模倣学習を行わない純粋に修正された報酬方法よりも優れており、ベンチマークのオフダイナミック環境でも他のベースラインよりも優れています。

要約(オリジナル)

Training a policy in a source domain for deployment in the target domain under a dynamics shift can be challenging, often resulting in performance degradation. Previous work tackles this challenge by training on the source domain with modified rewards derived by matching distributions between the source and the target optimal trajectories. However, pure modified rewards only ensure the behavior of the learned policy in the source domain resembles trajectories produced by the target optimal policies, which does not guarantee optimal performance when the learned policy is actually deployed to the target domain. In this work, we propose to utilize imitation learning to transfer the policy learned from the reward modification to the target domain so that the new policy can generate the same trajectories in the target domain. Our approach, Domain Adaptation and Reward Augmented Imitation Learning (DARAIL), utilizes the reward modification for domain adaptation and follows the general framework of generative adversarial imitation learning from observation (GAIfO) by applying a reward augmented estimator for the policy optimization step. Theoretically, we present an error bound for our method under a mild assumption regarding the dynamics shift to justify the motivation of our method. Empirically, our method outperforms the pure modified reward method without imitation learning and also outperforms other baselines in benchmark off-dynamics environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google