Open-Vocabulary Affordance Detection in 3D Point Clouds

要約

アフォーダンス検出は、さまざまなロボット アプリケーションにおける困難な問題です。
従来のアフォーダンス検出方法は、事前定義されたアフォーダンス ラベルのセットに限定されているため、複雑で動的な環境におけるインテリジェント ロボットの適応性が制限される可能性があります。
この論文では、3D 点群で無制限の数のアフォーダンスを検出できる Open-Vocabulary Affordance Detection (OpenAD) 手法を紹介します。
アフォーダンス テキストとポイント機能を同時に学習することで、OpenAD はアフォーダンス間の意味論的な関係をうまく活用します。
したがって、私たちの提案手法はゼロショット検出を可能にし、単一のアノテーション例なしでこれまで見えなかったアフォーダンスを検出することができます。
集中的な実験結果は、OpenAD が幅広いアフォーダンス検出設定で効果的に動作し、他のベースラインを大幅に上回るパフォーマンスを示していることを示しています。
さらに、提案された OpenAD が実際のロボット アプリケーションで高速推論速度 (~100ms) で実用的であることを実証します。
私たちのプロジェクトは https://openad2023.github.io で入手できます。

要約(オリジナル)

Affordance detection is a challenging problem with a wide variety of robotic applications. Traditional affordance detection methods are limited to a predefined set of affordance labels, hence potentially restricting the adaptability of intelligent robots in complex and dynamic environments. In this paper, we present the Open-Vocabulary Affordance Detection (OpenAD) method, which is capable of detecting an unbounded number of affordances in 3D point clouds. By simultaneously learning the affordance text and the point feature, OpenAD successfully exploits the semantic relationships between affordances. Therefore, our proposed method enables zero-shot detection and can be able to detect previously unseen affordances without a single annotation example. Intensive experimental results show that OpenAD works effectively on a wide range of affordance detection setups and outperforms other baselines by a large margin. Additionally, we demonstrate the practicality of the proposed OpenAD in real-world robotic applications with a fast inference speed (~100ms). Our project is available at https://openad2023.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google