VL-Grasp: a 6-Dof Interactive Grasp Policy for Language-Oriented Objects in Cluttered Indoor Scenes

要約

ロボットによる把握は、人間とロボットの相互作用シナリオにおいて新たな課題に直面しています。
人間の言語指令によって指定された対象物体をロボットが把握するというタスクを考える。
ロボットは、視覚と言語の情報に基づいてターゲットの位置を特定する必要があるだけでなく、さまざまな視点や姿勢で合理的な把握ポーズの候補を予測する必要があります。
本研究では、人間の言語によって指定された対象を把握するための、Visual-Lingual-Grasp (VL-Grasp) と名付けられた新しい対話型把握ポリシーを提案します。
まず、屋内環境におけるロボットの対話型知覚のための機能トレーニング データを提供するために、新しい挑戦的なビジュアル グラウンディング データセットを構築します。
第二に、インタラクティブな把握の普遍性を拡張するために、視覚的なグラウンディングと 6 自由度の把握ポーズ検出を組み合わせた 6 自由度のインタラクティブな把握ポリシーを提案します。
3 番目に、ポリシーのパフォーマンスを向上させるために把握ポーズ フィルター モジュールを設計します。
実験では、現実世界での VL-Grasp の有効性と拡張性を実証します。
VL-Grasp は、さまざまな屋内シーンで 72.5% の成功率を達成します。
コードとデータセットは https://github.com/luyh20/VL-Grasp で入手できます。

要約(オリジナル)

Robotic grasping faces new challenges in human-robot-interaction scenarios. We consider the task that the robot grasps a target object designated by human’s language directives. The robot not only needs to locate a target based on vision-and-language information, but also needs to predict the reasonable grasp pose candidate at various views and postures. In this work, we propose a novel interactive grasp policy, named Visual-Lingual-Grasp (VL-Grasp), to grasp the target specified by human language. First, we build a new challenging visual grounding dataset to provide functional training data for robotic interactive perception in indoor environments. Second, we propose a 6-Dof interactive grasp policy combined with visual grounding and 6-Dof grasp pose detection to extend the universality of interactive grasping. Third, we design a grasp pose filter module to enhance the performance of the policy. Experiments demonstrate the effectiveness and extendibility of the VL-Grasp in real world. The VL-Grasp achieves a success rate of 72.5\% in different indoor scenes. The code and dataset is available at https://github.com/luyh20/VL-Grasp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google