Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objects

要約

多関節物体の操作は、ロボット工学における基本的かつ困難なタスクです。
オブジェクト カテゴリ間での幾何学的および意味論的な大幅な違いにより、以前の操作モデルは新しいカテゴリに一般化するのに苦労しています。
フューショット学習は、ロボットが目に見えないオブジェクトと数回の対話を実行できるようにすることで、この問題を軽減する有望なソリューションです。
ただし、既存のアプローチでは、多くの場合、目に見えない各インスタンスとのテスト時のコストのかかる非効率的な対話が必要になります。
この制限を認識した上で、異なる形状にもかかわらず、さまざまなカテゴリが、引っ張り可能なハンドルや掴めるエッジなど、操作に不可欠な同様の局所幾何学形状を共有していることが多いことに気づきました。この要素は、これまでの数ショット学習作業では一般に十分に活用されていませんでした。
この共通性を利用するために、限られた数のインスタンスで最小限のインタラクションで新しいカテゴリを効果的に探索するアフォーダンス学習フレームワークである「Where2Explore」を導入します。
私たちのフレームワークは、さまざまなカテゴリ間の幾何学的類似性を明示的に推定し、効率的な探索のためにトレーニング カテゴリの形状と異なる局所領域を特定し、同時にアフォーダンス知識をオブジェクトの類似部分に転送します。
シミュレートされた環境と実世界の環境での広範な実験により、効率的な少数ショットの探索と一般化に対するフレームワークの能力が実証されています。

要約(オリジナル)

Articulated object manipulation is a fundamental yet challenging task in robotics. Due to significant geometric and semantic variations across object categories, previous manipulation models struggle to generalize to novel categories. Few-shot learning is a promising solution for alleviating this issue by allowing robots to perform a few interactions with unseen objects. However, extant approaches often necessitate costly and inefficient test-time interactions with each unseen instance. Recognizing this limitation, we observe that despite their distinct shapes, different categories often share similar local geometries essential for manipulation, such as pullable handles and graspable edges – a factor typically underutilized in previous few-shot learning works. To harness this commonality, we introduce ‘Where2Explore’, an affordance learning framework that effectively explores novel categories with minimal interactions on a limited number of instances. Our framework explicitly estimates the geometric similarity across different categories, identifying local areas that differ from shapes in the training categories for efficient exploration while concurrently transferring affordance knowledge to similar parts of the objects. Extensive experiments in simulated and real-world environments demonstrate our framework’s capacity for efficient few-shot exploration and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google