Scalable Real2Sim: Physics-Aware Asset Generation Via Robotic Pick-and-Place Setups

要約

現実世界の認識からオブジェクトのダイナミクスをシミュレートすることは、デジタル双子やロボット操作に大きな期待を示していますが、多くの場合、労働集約的な測定と専門知識を必要とします。
ロボットの相互作用を通じて、実際のオブジェクトのシミュレーション対応資産を生成する完全に自動化されたReal2Simパイプラインを提示します。
ロボットのジョイントトルクセンサーと外部カメラのみを使用して、パイプラインは視覚ジオメトリ、衝突ジオメトリ、および慣性パラメーターなどの物理的特性を識別します。
私たちのアプローチでは、アルファ透過トレーニングを採用しながら前景閉塞を明示的に識別し、背景帯域を描写することにより、測光再構成技術（例：nerf、gaussianスプラッティング）から高品質のオブジェクト中心のメッシュを抽出するための一般的な方法を紹介します。
広範な実験を通じて完全なパイプラインを検証し、多様なオブジェクト全体でその有効性を実証します。
手動介入または環境の変更の必要性を排除することにより、当社のパイプラインは既存のピックアンドプレイスセットアップに直接統合し、スケーラブルで効率的なデータセット作成を可能にします。
プロジェクトページ（コードとデータを使用）：https：//scalable-real2sim.github.io/。

要約(オリジナル)

Simulating object dynamics from real-world perception shows great promise for digital twins and robotic manipulation but often demands labor-intensive measurements and expertise. We present a fully automated Real2Sim pipeline that generates simulation-ready assets for real-world objects through robotic interaction. Using only a robot’s joint torque sensors and an external camera, the pipeline identifies visual geometry, collision geometry, and physical properties such as inertial parameters. Our approach introduces a general method for extracting high-quality, object-centric meshes from photometric reconstruction techniques (e.g., NeRF, Gaussian Splatting) by employing alpha-transparent training while explicitly distinguishing foreground occlusions from background subtraction. We validate the full pipeline through extensive experiments, demonstrating its effectiveness across diverse objects. By eliminating the need for manual intervention or environment modifications, our pipeline can be integrated directly into existing pick-and-place setups, enabling scalable and efficient dataset creation. Project page (with code and data): https://scalable-real2sim.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google