Open-Vocabulary Part-Based Grasping

要約

多くのロボット アプリケーションでは、オブジェクトを任意に把握するのではなく、非常に特定のオブジェクト部分で把握する必要があります。
これは、単純なピックアンドプレイスシナリオを超えた操作タスクや、オブジェクトの引き渡しなどのロボットと人間の相互作用において特に重要です。
我々は、オープン語彙物体検出、オープン語彙部分セグメンテーション、および 6DOF 把握ポーズ予測を組み合わせて、物体の特定部分の把握ポーズを 800 ミリ秒で推定する実用的なシステムである AnyPart を提案します。
私たちは、オープンボキャブラリーの部分ベースの把握のタスク用に 2 つの新しいデータセット、1014 個の物体と部分のセグメンテーションを含む手でセグメント化されたデータセット、および個々の物体とテーブルの片付けタスクのロボット試験中に収集された現実世界のシナリオのデータセットを提供しました。
。
私たちは、28 個の一般的な家庭用物品のセットを使用して、360 回の把握トライアルにわたってモバイル マニピュレーター ロボット上の AnyPart を評価しました。
AnyPart は 69.52 % の確率で成功した掴みを生成できますが、ロボットベースの掴みの失敗を無視すると、AnyPart は 88.57 % の確率で正しいパーツ上の掴み位置を予測します。

要約(オリジナル)

Many robotic applications require to grasp objects not arbitrarily but at a very specific object part. This is especially important for manipulation tasks beyond simple pick-and-place scenarios or in robot-human interactions, such as object handovers. We propose AnyPart, a practical system that combines open-vocabulary object detection, open-vocabulary part segmentation and 6DOF grasp pose prediction to infer a grasp pose on a specific part of an object in 800 milliseconds. We contribute two new datasets for the task of open-vocabulary part-based grasping, a hand-segmented dataset containing 1014 object-part segmentations, and a dataset of real-world scenarios gathered during our robot trials for individual objects and table-clearing tasks. We evaluate AnyPart on a mobile manipulator robot using a set of 28 common household objects over 360 grasping trials. AnyPart is capable of producing successful grasps 69.52 %, when ignoring robot-based grasp failures, AnyPart predicts a grasp location on the correct part 88.57 % of the time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google