VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion

要約

レッグロボットの移動における最近の成功は、強化学習と物理シミュレーターの統合に起因しています。
ただし、シミュレーターは通常、視覚的リアリズムと複雑な現実世界のジオメトリを複製できないため、これらのポリシーは、SIMからリアルのギャップのために実際の環境で展開されたときに課題に遭遇することがよくあります。
さらに、現実的な視覚レンダリングの欠如は、これらのポリシーの能力を制限し、自我中心のナビゲーションなどのRGBベースの認識を必要とする高レベルのタスクをサポートします。
このペーパーでは、視覚的なナビゲーションと運動学習のための光選挙的で物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する実際のフレームワークを紹介します。
私たちのアプローチは、マルチビュー画像からの3Dガウススプラッティング（3DGS）ベースのシーン再構築を活用し、これらの環境をエゴ中心の視覚知覚とメッシュベースの物理的相互作用をサポートするシミュレーションに統合します。
その有効性を実証するために、視覚的な目標追跡タスクを実行するために、シミュレーター内で強化学習ポリシーを訓練します。
広範な実験は、私たちのフレームワークがRGBのみのSIMからリアルへのポリシー転送を達成することを示しています。
さらに、当社のフレームワークは、複雑な新しい環境での効果的な探査能力を備えたロボットポリシーの迅速な適応を促進し、世帯や工場でのアプリケーションの可能性を強調しています。

要約(オリジナル)

Recent success in legged robot locomotion is attributed to the integration of reinforcement learning and physical simulators. However, these policies often encounter challenges when deployed in real-world environments due to sim-to-real gaps, as simulators typically fail to replicate visual realism and complex real-world geometry. Moreover, the lack of realistic visual rendering limits the ability of these policies to support high-level tasks requiring RGB-based perception like ego-centric navigation. This paper presents a Real-to-Sim-to-Real framework that generates photorealistic and physically interactive ‘digital twin’ simulation environments for visual navigation and locomotion learning. Our approach leverages 3D Gaussian Splatting (3DGS) based scene reconstruction from multi-view images and integrates these environments into simulations that support ego-centric visual perception and mesh-based physical interactions. To demonstrate its effectiveness, we train a reinforcement learning policy within the simulator to perform a visual goal-tracking task. Extensive experiments show that our framework achieves RGB-only sim-to-real policy transfer. Additionally, our framework facilitates the rapid adaptation of robot policies with effective exploration capability in complex new environments, highlighting its potential for applications in households and factories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google