Learning Environment-Aware Affordance for 3D Articulated Object Manipulation under Occlusions

要約

さまざまな環境で 3D 多関節オブジェクトを認識して操作することは、ホームアシスタント ロボットにとって不可欠です。
最近の研究では、ポイントレベルのアフォーダンスが下流の操作タスクに実用的な事前分布を提供することが示されています。
しかし、既存の研究は主に同種のエージェントを使用した単一オブジェクトのシナリオに焦点を当てており、環境やエージェントの形態によって課せられる現実的な制約 (オクルージョンや物理的制限など) を見落としています。
この論文では、オブジェクトレベルの実用的な事前分布と環境制約の両方を組み込んだ、環境を意識したアフォーダンス フレームワークを提案します。
オブジェクト中心のアフォーダンス アプローチとは異なり、環境を意識したアフォーダンスの学習は、量、形状、位置、姿勢によって特徴付けられるさまざまなオクルージョンの複雑さにより、組み合わせ爆発という課題に直面します。
これに対処し、データ効率を高めるために、単一のオクルーダーを含むシーンでトレーニングし、複雑なオクルーダーの組み合わせを持つシーンに一般化できる新しい対照的アフォーダンス学習フレームワークを導入します。
実験は、環境の制約を考慮したアフォーダンスの学習における私たちの提案されたアプローチの有効性を実証します。
プロジェクトページ: https://chengkaiacademycity.github.io/EnvAwareAfford/

要約(オリジナル)

Perceiving and manipulating 3D articulated objects in diverse environments is essential for home-assistant robots. Recent studies have shown that point-level affordance provides actionable priors for downstream manipulation tasks. However, existing works primarily focus on single-object scenarios with homogeneous agents, overlooking the realistic constraints imposed by the environment and the agent’s morphology, e.g., occlusions and physical limitations. In this paper, we propose an environment-aware affordance framework that incorporates both object-level actionable priors and environment constraints. Unlike object-centric affordance approaches, learning environment-aware affordance faces the challenge of combinatorial explosion due to the complexity of various occlusions, characterized by their quantities, geometries, positions and poses. To address this and enhance data efficiency, we introduce a novel contrastive affordance learning framework capable of training on scenes containing a single occluder and generalizing to scenes with complex occluder combinations. Experiments demonstrate the effectiveness of our proposed approach in learning affordance considering environment constraints. Project page at https://chengkaiacademycity.github.io/EnvAwareAfford/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google