Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

要約

実世界のロボット操作における重要な課題は、単一の視点から乱雑なシーンにある物体を、シーンの探索を追加することなく効果的に6DoFで把持することである。本研究では、把持をレンダリングとして再解釈し、神経体積表現と表面レンダリングの進歩を活用した、6DoF把持検出のための新しい手法であるNeuGraspNetを紹介する。NeuGraspNetは、局所的な物体表面のレンダリングと、共有特徴空間における把持関数の学習を共同で行うことで、ロボットのエンドエフェクタと物体表面の相互作用を符号化する。このアプローチでは、把持生成にグローバル（シーンレベル）な特徴量を使用し、把持評価にローカル（把持レベル）なニューラルサーフェス特徴量を使用します。これにより、部分的に観測されたシーンであっても、効果的で完全に暗黙的な6DoFの把持品質予測が可能になる。NeuGraspNetは、移動操作のシナリオで一般的なランダムな視点で動作し、既存の暗黙的および半暗黙的な把持法を凌駕する。本手法の実世界での適用性は、移動マニピュレータロボットを用いて、開放的で散らかった空間での把持で実証されている。プロジェクトのウェブサイト https://sites.google.com/view/neugraspnet

要約(オリジナル)

A significant challenge for real-world robotic manipulation is the effective 6DoF grasping of objects in cluttered scenes from any single viewpoint without the need for additional scene exploration. This work reinterprets grasping as rendering and introduces NeuGraspNet, a novel method for 6DoF grasp detection that leverages advances in neural volumetric representations and surface rendering. It encodes the interaction between a robot’s end-effector and an object’s surface by jointly learning to render the local object surface and learning grasping functions in a shared feature space. The approach uses global (scene-level) features for grasp generation and local (grasp-level) neural surface features for grasp evaluation. This enables effective, fully implicit 6DoF grasp quality prediction, even in partially observed scenes. NeuGraspNet operates on random viewpoints, common in mobile manipulation scenarios, and outperforms existing implicit and semi-implicit grasping methods. The real-world applicability of the method has been demonstrated with a mobile manipulator robot, grasping in open, cluttered spaces. Project website at https://sites.google.com/view/neugraspnet

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL