Re$^3$Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation

要約

Roboticsの現実世界のデータ収集は費用がかかり、リソース集約型であり、熟練したオペレーターと高価なハードウェアが必要です。
シミュレーションはスケーラブルな代替品を提供しますが、幾何学的および視覚的なギャップのためにSIMからリアルの一般化を達成できないことがよくあります。
これらの課題に対処するために、幾何学的および視覚的なSIMからリアルへのギャップに対処する、3DフォトリックなリアルからSIMからSIMシステムを提案します。
Re $^3 $ SIMは、現実世界のシナリオを忠実に再現するために、高度な3D再構築およびニューラルレンダリング技術を採用し、物理ベースのシミュレータ内でシミュレートされたクロスビューカメラのリアルタイムレンダリングを可能にします。
特権情報を利用して、シミュレーションでエキスパートのデモンストレーションを効率的に収集し、模倣学習を備えたロボットポリシーを訓練することにより、さまざまな操作タスクシナリオにわたる実際のパイプラインの有効性を検証します。
特に、シミュレートされたデータのみを使用すると、平均成功率が58％を超えるゼロショットSIMからリアルへの転送を達成できます。
REALからSIMの限界を押し上げるために、大規模なシミュレーションデータセットをさらに生成し、さまざまなオブジェクトに一般化するシミュレーションデータから堅牢なポリシーをどのように構築できるかを示します。
コードとデモは、http：//xshenhan.github.io/re3sim/で入手できます。

要約(オリジナル)

Real-world data collection for robotics is costly and resource-intensive, requiring skilled operators and expensive hardware. Simulations offer a scalable alternative but often fail to achieve sim-to-real generalization due to geometric and visual gaps. To address these challenges, we propose a 3D-photorealistic real-to-sim system, namely, RE$^3$SIM, addressing geometric and visual sim-to-real gaps. RE$^3$SIM employs advanced 3D reconstruction and neural rendering techniques to faithfully recreate real-world scenarios, enabling real-time rendering of simulated cross-view cameras within a physics-based simulator. By utilizing privileged information to collect expert demonstrations efficiently in simulation, and train robot policies with imitation learning, we validate the effectiveness of the real-to-sim-to-real pipeline across various manipulation task scenarios. Notably, with only simulated data, we can achieve zero-shot sim-to-real transfer with an average success rate exceeding 58%. To push the limit of real-to-sim, we further generate a large-scale simulation dataset, demonstrating how a robust policy can be built from simulation data that generalizes across various objects. Codes and demos are available at: http://xshenhan.github.io/Re3Sim/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google