PEGG-Net: Pixel-Wise Efficient Grasp Generation in Complex Scenes

要約

視覚ベースの把握推定は、現実世界でのロボット操作タスクの重要な部分です。
既存の平面把握推定アルゴリズムは、比較的単純なシーンでうまく機能することが実証されています。
しかし、背景が乱雑でオブジェクトが動く乱雑なシーンなど、複雑なシーンになると、以前の作品のアルゴリズムでは不正確で不安定な把握接触点が生成される傾向がありました。
この研究では、まず既存の平面把握推定アルゴリズムを研究し、複雑なシーンにおける関連する課題を分析します。
次に、複雑なシーンでの把握の問題に取り組むために、Pixel-wise Efficient Grasp Generation Network (PEGG-Net) を設計します。
PEGG-Net は、複雑な構造を導入することなく、Cornell データセットで最先端のパフォーマンス (98.9%) の向上、Jacquard データセットで 2 番目に優れたパフォーマンス (93.8%) を達成し、他の既存のアルゴリズムを上回ります。
第三に、PEGG-Net は、位置ベースのビジュアル サーボ (PBVS) を使用して、動的な環境での堅牢性を高めるために閉ループ方式で動作できます。
最後に、さまざまな複雑なシーンで、静的オブジェクト、動的オブジェクト、および乱雑なオブジェクトに対して実世界の実験を行います。
結果は、私たちが提案したネットワークが、不規則な物体、家庭用物品、および作業場ツールの把握において高い成功率を達成していることを示しています。
コミュニティに役立つように、トレーニング済みモデルと補足資料は https://github.com/HZWang96/PEGG-Net で入手できます。

要約(オリジナル)

Vision-based grasp estimation is an essential part of robotic manipulation tasks in the real world. Existing planar grasp estimation algorithms have been demonstrated to work well in relatively simple scenes. But when it comes to complex scenes, such as cluttered scenes with messy backgrounds and moving objects, the algorithms from previous works are prone to generate inaccurate and unstable grasping contact points. In this work, we first study the existing planar grasp estimation algorithms and analyze the related challenges in complex scenes. Secondly, we design a Pixel-wise Efficient Grasp Generation Network (PEGG-Net) to tackle the problem of grasping in complex scenes. PEGG-Net can achieve improved state-of-the-art performance on the Cornell dataset (98.9%) and second-best performance on the Jacquard dataset (93.8%), outperforming other existing algorithms without the introduction of complex structures. Thirdly, PEGG-Net could operate in a closed-loop manner for added robustness in dynamic environments using position-based visual servoing (PBVS). Finally, we conduct real-world experiments on static, dynamic, and cluttered objects in different complex scenes. The results show that our proposed network achieves a high success rate in grasping irregular objects, household objects, and workshop tools. To benefit the community, our trained model and supplementary materials are available at https://github.com/HZWang96/PEGG-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google