VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion

要約

脚式ロボットのロコモーションにおける最近の成功は、強化学習と物理シミュレータの統合によるものである。しかし、シミュレータは通常、視覚的リアリズムや複雑な実世界のジオメトリを再現できないため、シミュレータと実世界のギャップのために、これらのポリシーが実環境で展開されたときにしばしば課題に遭遇する。さらに、現実的な視覚レンダリングの欠如は、自我中心のナビゲーションのようなRGBベースの知覚を必要とする高レベルのタスクをサポートするこれらのポリシーの能力を制限する。本論文では、視覚ナビゲーションとロコモーション学習のために、フォトリアリスティックで物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成するReal-to-Sim-to-Realフレームワークを提示する。我々のアプローチは、3Dガウススプラッティング(3DGS)に基づくマルチビュー画像からのシーン再構築を活用し、これらの環境を自我中心の視覚知覚とメッシュベースの物理的インタラクションをサポートするシミュレーションに統合する。その有効性を実証するために、我々はシミュレータ内で強化学習ポリシーを訓練し、視覚的ゴール追跡タスクを実行させる。広範な実験により、我々のフレームワークがRGBのみのシミュレータからリアルへの方針伝達を達成することが示された。さらに、我々のフレームワークは、複雑な新しい環境において効果的な探索能力を持つロボットポリシーの迅速な適応を容易にし、家庭や工場での応用の可能性を強調する。

要約(オリジナル)

Recent success in legged robot locomotion is attributed to the integration of reinforcement learning and physical simulators. However, these policies often encounter challenges when deployed in real-world environments due to sim-to-real gaps, as simulators typically fail to replicate visual realism and complex real-world geometry. Moreover, the lack of realistic visual rendering limits the ability of these policies to support high-level tasks requiring RGB-based perception like ego-centric navigation. This paper presents a Real-to-Sim-to-Real framework that generates photorealistic and physically interactive ‘digital twin’ simulation environments for visual navigation and locomotion learning. Our approach leverages 3D Gaussian Splatting (3DGS) based scene reconstruction from multi-view images and integrates these environments into simulations that support ego-centric visual perception and mesh-based physical interactions. To demonstrate its effectiveness, we train a reinforcement learning policy within the simulator to perform a visual goal-tracking task. Extensive experiments show that our framework achieves RGB-only sim-to-real policy transfer. Additionally, our framework facilitates the rapid adaptation of robot policies with effective exploration capability in complex new environments, highlighting its potential for applications in households and factories.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL