Show and Grasp: Few-shot Semantic Segmentation for Robot Grasping through Zero-shot Foundation Models

要約

ロボット把握と呼ばれる、物体を持ち上げるロボットの能力は、組み立てや仕分けなどのいくつかの用途にとって重要です。
このようなタスクでは、グリッパーの正しい構成を推測することと同じくらい、ピックする適切なターゲットを選択することが重要です。
この問題に対する一般的な解決策はセマンティック セグメンテーション モデルに依存していますが、多くの場合、目に見えないオブジェクトに対する一般化が不十分であり、トレーニングにかなりの時間と大量のデータが必要です。
大規模なデータセットの必要性を減らすために、一部の把握パイプラインは、少数の例を与えられた新しいクラスを認識できる少数ショットのセマンティック セグメンテーション モデルを活用しています。
ただし、これにはパフォーマンスが制限されるという代償が伴うことが多く、ロボットの把握シナリオで効果を発揮するには微調整が必​​要です。
この研究では、基盤モデルによって達成される優れた一般化機能と、サポート セットにより近いセグメンテーションを選択するスコア関数として機能する高性能の少数ショット分類器を組み合わせることによって、これらすべての制限を克服することを提案します。
提案されたモデルは、把握合成パイプラインに埋め込まれるように設計されています。
1 つまたは 5 つの例を使用した広範な実験は、私たちの新しいアプローチが既存のパフォーマンス制限を克服し、Graspnet-1B (+10.5% mIoU) と Ocid-grasp (+1.6%) の少数ショット セマンティック セグメンテーションの両方で最先端の技術を向上させていることを示しています。
AP) データセット、および現実世界の少数ショット把握合成 (把握精度 +21.7%)。
プロジェクト ページは https://leobarcellona.github.io/showandgrasp.github.io/ から入手できます。

要約(オリジナル)

The ability of a robot to pick an object, known as robot grasping, is crucial for several applications, such as assembly or sorting. In such tasks, selecting the right target to pick is as essential as inferring a correct configuration of the gripper. A common solution to this problem relies on semantic segmentation models, which often show poor generalization to unseen objects and require considerable time and massive data to be trained. To reduce the need for large datasets, some grasping pipelines exploit few-shot semantic segmentation models, which are capable of recognizing new classes given a few examples. However, this often comes at the cost of limited performance and fine-tuning is required to be effective in robot grasping scenarios. In this work, we propose to overcome all these limitations by combining the impressive generalization capability reached by foundation models with a high-performing few-shot classifier, working as a score function to select the segmentation that is closer to the support set. The proposed model is designed to be embedded in a grasp synthesis pipeline. The extensive experiments using one or five examples show that our novel approach overcomes existing performance limitations, improving the state of the art both in few-shot semantic segmentation on the Graspnet-1B (+10.5% mIoU) and Ocid-grasp (+1.6% AP) datasets, and real-world few-shot grasp synthesis (+21.7% grasp accuracy). The project page is available at: https://leobarcellona.github.io/showandgrasp.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google