Splatting Physical Scenes: End-to-End Real-to-Sim from Imperfect Robot Data

要約

現実世界のロボットモーションから直接正確で物理的なシミュレーションを作成すると、安全でスケーラブルで手頃なロボット学習に大きな価値がありますが、非常に挑戦的なままです。
実際のロボットデータには、閉塞、ノイズの多いカメラのポーズ、動的なシーン要素に苦しんでおり、目に見えないオブジェクトの幾何学的に正確で光選挙的なデジタル双子の作成を妨げます。
これらすべての課題に一度に取り組む新しいリアルからシムのフレームワークを紹介します。
私たちの重要な洞察は、単一の表現内の物理シミュレーションに適した明示的なオブジェクトメッシュと3Dガウスのスプラッティングのフォトリアリスティックなレンダリングをマージするハイブリッドシーン表現です。
ムホコ内で微分可能なレンダリングと微分物理学を活用して、オブジェクトのジオメトリと外観からロボットのポーズや物理的パラメーターまで、生および不正確なロボットのトレーズから直接、すべてのシーンコンポーネントを共同で改良するエンドツーエンドの最適化パイプラインを提案します。
この統一された最適化により、同時に高忠実度オブジェクトメッシュの再構築を実現し、光リアリスティックな新規ビューを生成し、注釈のないロボットポーズキャリブレーションを実行することができます。
シミュレーションと、Aloha 2の双方向マニピュレーターを使用した現実世界のシーケンスに挑戦するアプローチの有効性を実証し、より実用的で堅牢な現実からシミュレーションパイプラインを可能にします。

要約(オリジナル)

Creating accurate, physical simulations directly from real-world robot motion holds great value for safe, scalable, and affordable robot learning, yet remains exceptionally challenging. Real robot data suffers from occlusions, noisy camera poses, dynamic scene elements, which hinder the creation of geometrically accurate and photorealistic digital twins of unseen objects. We introduce a novel real-to-sim framework tackling all these challenges at once. Our key insight is a hybrid scene representation merging the photorealistic rendering of 3D Gaussian Splatting with explicit object meshes suitable for physics simulation within a single representation. We propose an end-to-end optimization pipeline that leverages differentiable rendering and differentiable physics within MuJoCo to jointly refine all scene components – from object geometry and appearance to robot poses and physical parameters – directly from raw and imprecise robot trajectories. This unified optimization allows us to simultaneously achieve high-fidelity object mesh reconstruction, generate photorealistic novel views, and perform annotation-free robot pose calibration. We demonstrate the effectiveness of our approach both in simulation and on challenging real-world sequences using an ALOHA 2 bi-manual manipulator, enabling more practical and robust real-to-simulation pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google