OVIR-3D: Open-Vocabulary 3D Instance Retrieval Without Training on 3D Data

要約

この研究では、トレーニングに 3D データを使用せずに、オープン語彙の 3D オブジェクト インスタンスを取得するための単純かつ効果的な方法である OVIR-3D を紹介します。
言語クエリが与えられると、提案された方法は、インスタンスとテキスト クエリの特徴類似性に基づいて、ランク付けされた 3D オブジェクト インスタンス セグメントのセットを返すことができます。
これは、テキストに位置合わせされた 2D 領域提案を 3D 空間にマルチビューで融合することによって実現されます。この場合、2D 領域提案ネットワークは、アクセスしやすく、通常は 3D データセットよりも大きい 2D データセットを活用できます。
提案されたフュージョン プロセスは、ほとんどの屋内 3D シーンに対してリアルタイムで実行でき、3D 空間での追加のトレーニングを必要としないため、効率的です。
公開データセットと実際のロボットを使った実験により、この方法の有効性と、ロボットのナビゲーションと操作における応用の可能性が示されています。

要約(オリジナル)

This work presents OVIR-3D, a straightforward yet effective method for open-vocabulary 3D object instance retrieval without using any 3D data for training. Given a language query, the proposed method is able to return a ranked set of 3D object instance segments based on the feature similarity of the instance and the text query. This is achieved by a multi-view fusion of text-aligned 2D region proposals into 3D space, where the 2D region proposal network could leverage 2D datasets, which are more accessible and typically larger than 3D datasets. The proposed fusion process is efficient as it can be performed in real-time for most indoor 3D scenes and does not require additional training in 3D space. Experiments on public datasets and a real robot show the effectiveness of the method and its potential for applications in robot navigation and manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google