Search3D: Hierarchical Open-Vocabulary 3D Segmentation

要約

オープンボキャブラリーの 3D セグメンテーションにより、自由形式のテキスト説明を使用して 3D 空間を探索できます。
オープンボキャブラリーの 3D インスタンスセグメンテーションの既存の方法は、主にオブジェクトレベルのインスタンスを識別することに重点を置いていますが、オブジェクトの部分や一般的な属性によって記述される領域などのよりきめの細かいシーンエンティティを処理するのに苦労しています。
この研究では、階層的でオープンな語彙の 3D シーン表現を構築するアプローチである Search3D を導入し、複数の粒度レベル (きめの細かいオブジェクトの部分、オブジェクト全体、またはマテリアルなどの属性によって記述される領域) での 3D 検索を可能にします。
従来の方法とは異なり、Search3D は、明示的なオブジェクト中心のクエリを超えて、より柔軟なオープン語彙 3D 検索パラダイムに移行しています。
体系的な評価のために、ScanNet++ 上のオープン語彙のきめ細かいパーツ アノテーションのセットとともに、MultiScan に基づくシーン スケールのオープン語彙 3D パーツ セグメンテーション ベンチマークをさらに提供します。
Search3D は、3D オブジェクトとマテリアルのセグメント化において強力なパフォーマンスを維持しながら、シーン スケールのオープンボキャブラリ 3D パーツ セグメンテーションにおいてベースラインを上回るパフォーマンスを発揮します。
私たちのプロジェクト ページは http://search3d-segmentation.github.io です。

要約(オリジナル)

Open-vocabulary 3D segmentation enables exploration of 3D spaces using free-form text descriptions. Existing methods for open-vocabulary 3D instance segmentation primarily focus on identifying object-level instances but struggle with finer-grained scene entities such as object parts, or regions described by generic attributes. In this work, we introduce Search3D, an approach to construct hierarchical open-vocabulary 3D scene representations, enabling 3D search at multiple levels of granularity: fine-grained object parts, entire objects, or regions described by attributes like materials. Unlike prior methods, Search3D shifts towards a more flexible open-vocabulary 3D search paradigm, moving beyond explicit object-centric queries. For systematic evaluation, we further contribute a scene-scale open-vocabulary 3D part segmentation benchmark based on MultiScan, along with a set of open-vocabulary fine-grained part annotations on ScanNet++. Search3D outperforms baselines in scene-scale open-vocabulary 3D part segmentation, while maintaining strong performance in segmenting 3D objects and materials. Our project page is http://search3d-segmentation.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google