RePo: Resilient Model-Based Reinforcement Learning by Regularizing Posterior Predictability

要約

ビジュアルモデルベースの RL 手法は通常、冗長な情報を排除しない方法で画像観察を低次元表現にエンコードします。
そのため、誤った変化、つまり背景の気が散るものや照明条件など、タスクに関係のないコンポーネントの変化の影響を受けやすくなります。
本稿では、このようなスプリアス変動に強い潜在表現を学習するビジュアルモデルベースのRL手法を提案します。
私たちのトレーニング目標は、観察から潜在的な表現への情報の流れを制限しながら、表現がダイナミクスと報酬を最大限に予測することを奨励します。
我々は、この目的により視覚モデルベースの RL 手法の視覚的注意散漫に対する回復力が大幅に強化され、動的環境での動作が可能になることを実証します。
次に、学習されたエンコーダはスピリアスな変動に対して耐性がある一方で、大幅な分布の変化の下では不変ではないことを示します。
これに対処するために、エンコーダのテスト時間の適応を可能にする、報酬のない単純な調整手順を提案します。
これにより、ダイナミクスやポリシーを再学習することなく、大きく異なる環境に迅速に適応できます。
私たちの取り組みは、モデルベースの RL を動的で多様な領域にとって実用的で役立つツールにするための一歩です。
大きなスプリアス変動を伴うシミュレーション ベンチマークや、バックグラウンドで騒々しいテレビを使用した現実世界の自己中心的なナビゲーション タスクにおいて、その有効性を示します。
ビデオとコードは https://zchuning.github.io/repo-website/ にあります。

要約(オリジナル)

Visual model-based RL methods typically encode image observations into low-dimensional representations in a manner that does not eliminate redundant information. This leaves them susceptible to spurious variations — changes in task-irrelevant components such as background distractors or lighting conditions. In this paper, we propose a visual model-based RL method that learns a latent representation resilient to such spurious variations. Our training objective encourages the representation to be maximally predictive of dynamics and reward, while constraining the information flow from the observation to the latent representation. We demonstrate that this objective significantly bolsters the resilience of visual model-based RL methods to visual distractors, allowing them to operate in dynamic environments. We then show that while the learned encoder is resilient to spirious variations, it is not invariant under significant distribution shift. To address this, we propose a simple reward-free alignment procedure that enables test time adaptation of the encoder. This allows for quick adaptation to widely differing environments without having to relearn the dynamics and policy. Our effort is a step towards making model-based RL a practical and useful tool for dynamic, diverse domains. We show its effectiveness in simulation benchmarks with significant spurious variations as well as a real-world egocentric navigation task with noisy TVs in the background. Videos and code at https://zchuning.github.io/repo-website/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google