RL-GSBridge: 3D Gaussian Splatting Based Real2Sim2Real Method for Robotic Manipulation Learning

要約

Sim-to-Real とは、シミュレーションで学習したポリシーを現実世界に転送するプロセスを指します。これは、実用的なロボット工学アプリケーションを実現するために重要です。
ただし、最近の Sim2real メソッドは大量の拡張データまたは大規模な学習モデルに依存しているため、特定のタスクでは非効率的です。
近年、放射フィールドベースの再構成手法、特に 3D ガウス スプラッティングの出現により、リアルな現実世界のシナリオを再現できるようになりました。
この目的を達成するために、我々は、新しいリアルからシムからリアルへの強化学習フレームワークである RL-GSBridge を提案します。これは、ビジョンベースのゼロショットシムからリアルへの転送を実現するメッシュベースの 3D ガウス スプラッティング法を導入しています。
深層強化学習。
ソフト バインディング制約を使用してメッシュ ベースの 3D GS モデリング方法を改善し、メッシュ モデルのレンダリング品質を向上させます。
次に、GS 編集アプローチを採用してレンダリングを物理シミュレーターと同期させ、物理ロボットのインタラクションをより正確に反映します。
掴みやピックアンドプレイスのタスクを含む一連のシミュレートからリアルへのロボットアーム実験を通じて、RL-GSBridge がシミュレートからリアルへの転送中に現実世界のタスク完了において満足のいく成功率を維持することを実証しました。
さらに、一連のレンダリングメトリクスと視覚化の結果は、私たちが提案したメッシュベースの3Dガウスが非構造化オブジェクトのアーティファクトを軽減し、より現実的なレンダリングパフォーマンスを実証していることを示しています。

要約(オリジナル)

Sim-to-Real refers to the process of transferring policies learned in simulation to the real world, which is crucial for achieving practical robotics applications. However, recent Sim2real methods either rely on a large amount of augmented data or large learning models, which is inefficient for specific tasks. In recent years, radiance field-based reconstruction methods, especially the emergence of 3D Gaussian Splatting, making it possible to reproduce realistic real-world scenarios. To this end, we propose a novel real-to-sim-to-real reinforcement learning framework, RL-GSBridge, which introduces a mesh-based 3D Gaussian Splatting method to realize zero-shot sim-to-real transfer for vision-based deep reinforcement learning. We improve the mesh-based 3D GS modeling method by using soft binding constraints, enhancing the rendering quality of mesh models. We then employ a GS editing approach to synchronize rendering with the physics simulator, reflecting the interactions of the physical robot more accurately. Through a series of sim-to-real robotic arm experiments, including grasping and pick-and-place tasks, we demonstrate that RL-GSBridge maintains a satisfactory success rate in real-world task completion during sim-to-real transfer. Furthermore, a series of rendering metrics and visualization results indicate that our proposed mesh-based 3D Gaussian reduces artifacts in unstructured objects, demonstrating more realistic rendering performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google