A Real2Sim2Real Method for Robust Object Grasping with Neural Surface Reconstruction

要約

最近の 3D ベースの操作方法は、3D ニューラル ネットワークを使用して把握ポーズを直接予測するか、形状データベースから取得した類似のオブジェクトを使用して把握ポーズを解決します。
ただし、前者は、新しいロボット アームや目に見えない物体を使用してテストする場合、汎用性の課題に直面します。
後者は、データベース内に同様のオブジェクトが存在することを前提としています。
私たちは、最近の 3D モデリング手法が、物理シミュレーションを可能にし、堅牢な操作アルゴリズム学習をサポートする評価シーンのデジタル レプリカを構築するための道を提供すると仮説を立てています。
私たちは、最先端の神経表面再構成法 (Real2Sim ステップ) を使用して、実世界の点群から高品質のメッシュを再構成することを提案します。
ほとんどのシミュレータは高速シミュレーションのためにメッシュを使用するため、再構築されたメッシュにより人間の努力なしで把握ポーズ ラベルを生成できます。
生成されたラベルは、実際の評価シーン (Sim2Real ステップ) で堅牢に機能する把握ネットワークをトレーニングできます。
合成実験と実際の実験では、Real2Sim2Real パイプラインが、大規模なデータセットと検索ベースの再構成による把握サンプリング手法でトレーニングされたベースライン把握ネットワークよりも優れたパフォーマンスを発揮することを示しました。
Real2Sim2Real パイプラインの利点は、1) シーン モデリングと把握サンプリングをサブ問題に分離すること、および 2) 両方のサブ問題を、最近の 3D 学習アルゴリズムとメッシュ ベースの物理シミュレーション技術を使用して十分に高い品質で解決できることによって得られます。

要約(オリジナル)

Recent 3D-based manipulation methods either directly predict the grasp pose using 3D neural networks, or solve the grasp pose using similar objects retrieved from shape databases. However, the former faces generalizability challenges when testing with new robot arms or unseen objects; and the latter assumes that similar objects exist in the databases. We hypothesize that recent 3D modeling methods provides a path towards building digital replica of the evaluation scene that affords physical simulation and supports robust manipulation algorithm learning. We propose to reconstruct high-quality meshes from real-world point clouds using state-of-the-art neural surface reconstruction method (the Real2Sim step). Because most simulators take meshes for fast simulation, the reconstructed meshes enable grasp pose labels generation without human efforts. The generated labels can train grasp network that performs robustly in the real evaluation scene (the Sim2Real step). In synthetic and real experiments, we show that the Real2Sim2Real pipeline performs better than baseline grasp networks trained with a large dataset and a grasp sampling method with retrieval-based reconstruction. The benefit of the Real2Sim2Real pipeline comes from 1) decoupling scene modeling and grasp sampling into sub-problems, and 2) both sub-problems can be solved with sufficiently high quality using recent 3D learning algorithms and mesh-based physical simulation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google