ReCoRe: Regularized Contrastive Representation Learning of World Model

要約

最近のモデルフリーの強化学習（RL）手法は、ゲーム環境では人間レベルの有効性を示しているが、視覚的ナビゲーションのような日常的なタスクでは、特に外観の変化が大きい場合、その成功は限定的であった。この限界は、(i)サンプル効率の悪さ、(ii)学習シナリオへの過剰適合に起因する。これらの課題に対処するために、我々は、(i)対照的教師なし学習と(ii)介入不変正則化器を用いて不変特徴を学習する世界モデルを提示する。世界ダイナミクスの明示的な表現、すなわち世界モデルを学習することで、サンプルの効率を向上させる一方、対照学習により不変特徴の学習を暗黙的に強制することで、汎化を向上させる。しかし、世界モデルに基づくRL手法は、表現学習とエージェント政策を独立に最適化するため、対比的損失と世界モデルの統合は十分ではない。この問題を克服するために、我々は、奥行き予測、画像ノイズ除去、画像セグメンテーションなどの補助タスクの形で、スタイル介入に対する不変性を明示的に強制する介入不変正則化を提案する。本手法は、現在の最先端のモデルベースおよびモデルフリーのRL手法を凌駕し、iGibsonベンチマークで評価された分布外点ナビゲーションタスクを大幅に改善する。さらに、視覚的な観察のみで、我々のアプローチが、計算能力の限られたロボットへの配備に不可欠な、点ナビゲーションのための最近の言語ガイド付き基礎モデルを凌駕することを実証する。最後に、我々の提案するモデルが、ギブソンベンチマークにおいて、知覚モジュールのシムからリアルへの転送に優れていることを示す。

要約(オリジナル)

While recent model-free Reinforcement Learning (RL) methods have demonstrated human-level effectiveness in gaming environments, their success in everyday tasks like visual navigation has been limited, particularly under significant appearance variations. This limitation arises from (i) poor sample efficiency and (ii) over-fitting to training scenarios. To address these challenges, we present a world model that learns invariant features using (i) contrastive unsupervised learning and (ii) an intervention-invariant regularizer. Learning an explicit representation of the world dynamics i.e. a world model, improves sample efficiency while contrastive learning implicitly enforces learning of invariant features, which improves generalization. However, the na\’ive integration of contrastive loss to world models is not good enough, as world-model-based RL methods independently optimize representation learning and agent policy. To overcome this issue, we propose an intervention-invariant regularizer in the form of an auxiliary task such as depth prediction, image denoising, image segmentation, etc., that explicitly enforces invariance to style interventions. Our method outperforms current state-of-the-art model-based and model-free RL methods and significantly improves on out-of-distribution point navigation tasks evaluated on the iGibson benchmark. With only visual observations, we further demonstrate that our approach outperforms recent language-guided foundation models for point navigation, which is essential for deployment on robots with limited computation capabilities. Finally, we demonstrate that our proposed model excels at the sim-to-real transfer of its perception module on the Gibson benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL