Model-Based Reinforcement Learning with Isolated Imaginations

要約

ワールド モデルは、視覚ベースのインタラクティブ システムでのアクションの結果を学習します。
ただし、自動運転のような実際のシナリオでは、アクション信号に依存しない、またはほとんど依存しない制御不能なダイナミクスが存在することが多く、効果的な世界モデルを学習することが困難になります。
この問題に対処するために、モデルベースの強化学習アプローチである Iso-Dream++ を提案します。これには 2 つの主な貢献があります。
まず、逆ダイナミクスを最適化して、世界モデルが制御可能な状態遷移を環境の混合時空間変化から分離するようにします。
次に、分離された潜在的な想像力に基づいてポリシーの最適化を実行します。そこでは、制御不能な状態を未来に展開し、それらを現在の制御可能な状態に適応的に関連付けます。
これにより、他の車両の動きを予測できる自動運転車など、野生の混合ダイナミクス ソースを分離することにより、潜在的なリスクを回避することで、長期的な視覚運動制御タスクを実現できます。
以前の作業に加えて、制御可能な状態と制御できない状態の間のまばらな依存関係をさらに検討し、状態分離のトレーニング崩壊の問題に対処し、転移学習セットアップでのアプローチを検証します。
私たちの実証研究は、Iso-Dream++ が CARLA と DeepMind Control で既存の強化学習モデルよりも大幅に優れていることを示しています。

要約(オリジナル)

World models learn the consequences of actions in vision-based interactive systems. However, in practical scenarios like autonomous driving, noncontrollable dynamics that are independent or sparsely dependent on action signals often exist, making it challenging to learn effective world models. To address this issue, we propose Iso-Dream++, a model-based reinforcement learning approach that has two main contributions. First, we optimize the inverse dynamics to encourage the world model to isolate controllable state transitions from the mixed spatiotemporal variations of the environment. Second, we perform policy optimization based on the decoupled latent imaginations, where we roll out noncontrollable states into the future and adaptively associate them with the current controllable state. This enables long-horizon visuomotor control tasks to benefit from isolating mixed dynamics sources in the wild, such as self-driving cars that can anticipate the movement of other vehicles, thereby avoiding potential risks. On top of our previous work, we further consider the sparse dependencies between controllable and noncontrollable states, address the training collapse problem of state decoupling, and validate our approach in transfer learning setups. Our empirical study demonstrates that Iso-Dream++ outperforms existing reinforcement learning models significantly on CARLA and DeepMind Control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google