Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions

要約

接地3Dオブジェクトアフォーダンスは、操作できる3Dスペースにオブジェクトを配置するタスクであり、具体化されたインテリジェンスの知覚とアクションをリンクします。
たとえば、インテリジェントロボットの場合、オブジェクトのアフォーダンスを正確に接地し、人間の指示に従って把握する必要があります。
この論文では、認知科学に触発された言語の指示、視覚的観察、および相互作用に基づいて、3Dオブジェクトアフォーダンスを根拠とする新しいタスクを紹介します。
提案されたタスクをサポートするために、ポイント、画像、言語指示（AGPIL）を備えたアフォーダンス接地データセットを収集します。
3Dの物理的世界では、観測配向、オブジェクトの回転、または空間閉塞により、オブジェクトの部分的な観測しか得られません。
したがって、このデータセットには、フルビュー、部分的なビュー、および回転ビューの視点からのオブジェクトのアフォーダンス推定が含まれます。
このタスクを達成するために、2Dおよび3Dの空間機能をセマンティック機能と融合するためにビジョン言語モデルを適用する最初のマルチモーダル、言語誘導3DアフォーダンスグラウンドネットワークであるLmaffordance3Dを提案します。
AGPILに関する包括的な実験は、目に見えない実験環境であっても、このタスクに対する方法の有効性と優位性を示しています。
当社のプロジェクトは、https：//sites.google.com/view/lmaffordance3dで入手できます。

要約(オリジナル)

Grounding 3D object affordance is a task that locates objects in 3D space where they can be manipulated, which links perception and action for embodied intelligence. For example, for an intelligent robot, it is necessary to accurately ground the affordance of an object and grasp it according to human instructions. In this paper, we introduce a novel task that grounds 3D object affordance based on language instructions, visual observations and interactions, which is inspired by cognitive science. We collect an Affordance Grounding dataset with Points, Images and Language instructions (AGPIL) to support the proposed task. In the 3D physical world, due to observation orientation, object rotation, or spatial occlusion, we can only get a partial observation of the object. So this dataset includes affordance estimations of objects from full-view, partial-view, and rotation-view perspectives. To accomplish this task, we propose LMAffordance3D, the first multi-modal, language-guided 3D affordance grounding network, which applies a vision-language model to fuse 2D and 3D spatial features with semantic features. Comprehensive experiments on AGPIL demonstrate the effectiveness and superiority of our method on this task, even in unseen experimental settings. Our project is available at https://sites.google.com/view/lmaffordance3d.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google