Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

要約

現実世界のロボット操作における重要な課題は、追加のシーン探索を必要とせずに、単一の視点から乱雑なシーン内のオブジェクトを効果的に 6DoF で把握することです。
この研究では、把握をレンダリングとして再解釈し、ニューラル ボリューム表現とサーフェス レンダリングの進歩を活用した 6DoF 把握検出の新しい方法である NeuGraspNet を紹介します。
これは、ローカルの物体表面のレンダリングを共同学習し、共有特徴空間で把握機能を学習することにより、ロボットのエンドエフェクターと物体の表面の間の相互作用をエンコードします。
このアプローチでは、把握の生成にはグローバル (シーン レベル) の特徴が使用され、把握の評価にはローカル (把握レベル) の神経表面の特徴が使用されます。
これにより、部分的に観察されたシーンであっても、効果的で完全に暗黙的な 6DoF 把握品質予測が可能になります。
NeuGraspNet は、モバイル操作シナリオで一般的なランダムな視点で動作し、既存の暗黙的および半暗黙的把握方法よりも優れたパフォーマンスを発揮します。
この方法の実世界への適用可能性は、オープンで雑然とした空間で物をつかむ移動式マニピュレーター ロボットで実証されています。
プロジェクトの Web サイト: https://sites.google.com/view/neugraspnet

要約(オリジナル)

A significant challenge for real-world robotic manipulation is the effective 6DoF grasping of objects in cluttered scenes from any single viewpoint without the need for additional scene exploration. This work reinterprets grasping as rendering and introduces NeuGraspNet, a novel method for 6DoF grasp detection that leverages advances in neural volumetric representations and surface rendering. It encodes the interaction between a robot’s end-effector and an object’s surface by jointly learning to render the local object surface and learning grasping functions in a shared feature space. The approach uses global (scene-level) features for grasp generation and local (grasp-level) neural surface features for grasp evaluation. This enables effective, fully implicit 6DoF grasp quality prediction, even in partially observed scenes. NeuGraspNet operates on random viewpoints, common in mobile manipulation scenarios, and outperforms existing implicit and semi-implicit grasping methods. The real-world applicability of the method has been demonstrated with a mobile manipulator robot, grasping in open, cluttered spaces. Project website at https://sites.google.com/view/neugraspnet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google