Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

要約

ロボット操作は、インテリジェント支援などのさまざまなアプリケーション ドメインにロボット エージェントを許可するために重要です。
その中での主な課題は、追加のシーン探索を必要とせずに、あらゆる視点から乱雑な環境にあるオブジェクトを効果的に 6DoF で把握することです。
$\textit{NeuGraspNet}$ を紹介します。これは、ニューラル ボリューム表現とサーフェス レンダリングにおける最近の進歩を活用した、6DoF 把握検出のための新しい方法です。
私たちのアプローチは、グローバル (シーン レベル) とローカル (把握レベル) の両方の神経表面表現を学習し、シーンの目に見えない部分であっても効果的かつ完全に暗黙的な 6DoF 把握品質予測を可能にします。
さらに、把握を局所神経表面レンダリング問題として再解釈し、モデルがロボットのエンドエフェクターとオブジェクトの表面ジオメトリの間の相互作用をエンコードできるようにします。
NeuGraspNet は単一の視点で動作し、遮蔽されたシーンで把握候補をサンプリングすることができ、文献にある既存の陰的および半陰的ベースライン手法を上回るパフォーマンスを発揮します。
私たちは、モバイルマニピュレーターロボットを使用した NeuGraspNet の実世界への適用性を実証します。シーンをレンダリングすることで乱雑なオープンスペースでの把握、さまざまなオブジェクトの把握可能な領域についての推論、環境と衝突することなく成功する可能性の高い把握の選択を行います。
プロジェクトの Web サイトにアクセスしてください: https://sites.google.com/view/neugraspnet

要約(オリジナル)

Robotic manipulation is critical for admitting robotic agents to various application domains, like intelligent assistance. A major challenge therein is the effective 6DoF grasping of objects in cluttered environments from any viewpoint without requiring additional scene exploration. We introduce $\textit{NeuGraspNet}$, a novel method for 6DoF grasp detection that leverages recent advances in neural volumetric representations and surface rendering. Our approach learns both global (scene-level) and local (grasp-level) neural surface representations, enabling effective and fully implicit 6DoF grasp quality prediction, even in unseen parts of the scene. Further, we reinterpret grasping as a local neural surface rendering problem, allowing the model to encode the interaction between the robot’s end-effector and the object’s surface geometry. NeuGraspNet operates on single viewpoints and can sample grasp candidates in occluded scenes, outperforming existing implicit and semi-implicit baseline methods in the literature. We demonstrate the real-world applicability of NeuGraspNet with a mobile manipulator robot, grasping in open spaces with clutter by rendering the scene, reasoning about graspable areas of different objects, and selecting grasps likely to succeed without colliding with the environment. Visit our project website: https://sites.google.com/view/neugraspnet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google