RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator

要約

実世界の具体化されたデータを効率的に取得することがますます重要になっています。
しかし、遠隔操作で撮影した大規模なデモは非常にコストがかかり、効率的にデータサイズを拡張できない傾向にあります。
シミュレートされた環境下でエピソードをサンプリングすることは、大規模な収集に有望な方法ですが、既存のシミュレーターではテクスチャや物理学を忠実にモデリングすることができません。
これらの制限に対処するために、3D ガウス スプラッティングと物理エンジンを搭載した real2sim2real ロボット シミュレーターである RoboGSim を導入します。
RoboGSim は主に、Gaussian Reconstructor、Digital Twins Builder、Scene Composer、Interactive Engine の 4 つの部分で構成されています。
シミュレートされたデータを新しいビュー、オブジェクト、軌跡、シーンと合成できます。
RoboGSim は、さまざまな操作ポリシーに対するオンラインで再現可能で安全な評価も提供します。
real2sim と sim2real の転送実験では、テクスチャと物理学の高い一貫性が示されています。
さらに、合成データの有効性は、実際の操作タスクの下で検証されます。
RoboGSim がポリシー学習の公正な比較のための閉ループ シミュレーターとして機能することを願っています。
詳細については、プロジェクト ページ \href{https://robogsim.github.io/}{https://robogsim.github.io/} をご覧ください。

要約(オリジナル)

Efficient acquisition of real-world embodied data has been increasingly critical. However, large-scale demonstrations captured by remote operation tend to take extremely high costs and fail to scale up the data size in an efficient manner. Sampling the episodes under a simulated environment is a promising way for large-scale collection while existing simulators fail to high-fidelity modeling on texture and physics. To address these limitations, we introduce the RoboGSim, a real2sim2real robotic simulator, powered by 3D Gaussian Splatting and the physics engine. RoboGSim mainly includes four parts: Gaussian Reconstructor, Digital Twins Builder, Scene Composer, and Interactive Engine. It can synthesize the simulated data with novel views, objects, trajectories, and scenes. RoboGSim also provides an online, reproducible, and safe evaluation for different manipulation policies. The real2sim and sim2real transfer experiments show a high consistency in the texture and physics. Moreover, the effectiveness of synthetic data is validated under the real-world manipulated tasks. We hope RoboGSim serves as a closed-loop simulator for fair comparison on policy learning. More information can be found on our project page \href{https://robogsim.github.io/}{https://robogsim.github.io/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google