Robo-GS: A Physics Consistent Spatial-Temporal Model for Robotic Arm with Hybrid Representation

要約

Real2Sim2Real はロボット アームの制御と強化学習において重要な役割を果たしていますが、ロボットとロボットが操作するオブジェクトの複雑な物理的特性により、このギャップを埋めることは依然として大きな課題です。
既存の方法には、空間表現およびそれに関連する物理属性を使用して現実世界のオブジェクトを正確に再構成するための包括的なソリューションが不足しています。
私たちは、ロボット アームのデジタル アセット表現を強化するために、メッシュ ジオメトリ、3D ガウス カーネル、および物理属性を統合するハイブリッド表現モデルを備えた Real2Sim パイプラインを提案します。
このハイブリッド表現は、メッシュ頂点とガウス モデル間の同型マッピングを確立するガウス-メッシュ-ピクセル バインディング手法を通じて実装されます。
これにより、数値ソルバーを通じて最適化できる完全に微分可能なレンダリング パイプラインが可能になり、ガウス スプラッティングによって高忠実度のレンダリングが実現し、メッシュ ベースの手法を使用したロボット アームとその環境との相互作用の物理的に妥当なシミュレーションが容易になります。
コード、完全なプレゼンテーション、データセットは、当社の Web サイト https://robostudioapp.com で公開されます。

要約(オリジナル)

Real2Sim2Real plays a critical role in robotic arm control and reinforcement learning, yet bridging this gap remains a significant challenge due to the complex physical properties of robots and the objects they manipulate. Existing methods lack a comprehensive solution to accurately reconstruct real-world objects with spatial representations and their associated physics attributes. We propose a Real2Sim pipeline with a hybrid representation model that integrates mesh geometry, 3D Gaussian kernels, and physics attributes to enhance the digital asset representation of robotic arms. This hybrid representation is implemented through a Gaussian-Mesh-Pixel binding technique, which establishes an isomorphic mapping between mesh vertices and Gaussian models. This enables a fully differentiable rendering pipeline that can be optimized through numerical solvers, achieves high-fidelity rendering via Gaussian Splatting, and facilitates physically plausible simulation of the robotic arm’s interaction with its environment using mesh-based methods. The code,full presentation and datasets will be made publicly available at our website https://robostudioapp.com

arxiv情報

提供元, 利用サービス

arxiv.jp, Google