GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF

要約

この作業では、透過オブジェクトと鏡面オブジェクトの 6-DoF 把握検出に取り組みます。これは、深度カメラがジオメトリの検出に失敗するため、視覚ベースのロボット システムでは重要かつ困難な問題です。
我々は、初めて、一般化可能な神経放射場（NeRF）を活用して、物質にとらわれないオブジェクトのクラッタでの把握を実現する、マルチビュー RGB ベースの 6-DoF 把握検出ネットワーク、GraspNeRF を提案します。
高密度にキャプチャされた入力画像と時間のかかるシーンごとの最適化に依存する既存の NeRF ベースの 3-DoF 把握検出方法と比較して、当社のシステムはまばらな RGB 入力でゼロショット NeRF 構築を実行し、6-DoF 把握を確実に検出できます。
どちらもリアルタイム。
提案されたフレームワークは、一般化可能な NeRF と把握検出をエンドツーエンドの方法で共同で学習し、把握のためのシーン表現の構築を最適化します。
トレーニング データについては、現実世界への直接転送を可能にする雑然としたテーブルトップ シーンでつかむ大規模でフォトリアリスティックなドメイン ランダム化された合成データセットを生成します。
合成環境と現実世界の環境での広範な実験は、リアルタイムを維持しながら、すべての実験ですべてのベースラインよりも大幅に優れていることを示しています。
プロジェクト ページは https://pku-epic.github.io/GraspNeRF にあります。

要約(オリジナル)

In this work, we tackle 6-DoF grasp detection for transparent and specular objects, which is an important yet challenging problem in vision-based robotic systems, due to the failure of depth cameras in sensing their geometry. We, for the first time, propose a multiview RGB-based 6-DoF grasp detection network, GraspNeRF, that leverages the generalizable neural radiance field (NeRF) to achieve material-agnostic object grasping in clutter. Compared to the existing NeRF-based 3-DoF grasp detection methods that rely on densely captured input images and time-consuming per-scene optimization, our system can perform zero-shot NeRF construction with sparse RGB inputs and reliably detect 6-DoF grasps, both in real-time. The proposed framework jointly learns generalizable NeRF and grasp detection in an end-to-end manner, optimizing the scene representation construction for the grasping. For training data, we generate a large-scale photorealistic domain-randomized synthetic dataset of grasping in cluttered tabletop scenes that enables direct transfer to the real world. Our extensive experiments in synthetic and real-world environments demonstrate that our method significantly outperforms all the baselines in all the experiments while remaining in real-time. Project page can be found at https://pku-epic.github.io/GraspNeRF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google