MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation

要約

オープンボキャブラリーの 3D インスタンス セグメンテーションは、事前定義されたカテゴリなしで 3D インスタンスをセグメント化できるという点で最先端です。
ただし、注釈付きの 3D データが限られているため、3D の進歩は 2D の対応物に比べて遅れています。
これに対処するために、最近の研究では、まず 2D モデルを通じて 2D オープン語彙マスクを生成し、次にそれらを 2 つの隣接するフレーム間で計算されたメトリックに基づいて 3D インスタンスにマージします。
これらのローカルな指標とは対照的に、マルチビュー観察の利用を強化するために、ビューのコンセンサス率という新しい指標を提案します。
重要な洞察は、異なるビューからの多数の他の 2D マスクにこれら 2 つのマスクの両方が含まれている場合、2 つの 2D マスクは同じ 3D インスタンスの一部であると見なされる必要があるということです。
このメトリックをエッジの重みとして使用して、各マスクがノードとなるグローバル マスク グラフを構築します。
高いビューのコンセンサスを示すマ​​スクの反復クラスタリングを通じて、それぞれが個別の 3D インスタンスを表す一連のクラスターを生成します。
特に、私たちのモデルはトレーニングが不要です。
ScanNet++、ScanNet200、MatterPort3D などの公的に利用可能なデータセットでの広範な実験を通じて、私たちの方法がオープン語彙の 3D インスタンス セグメンテーションで最先端のパフォーマンスを達成できることを実証しました。
私たちのプロジェクト ページは https://pku-epic.github.io/MaskClustering にあります。

要約(オリジナル)

Open-vocabulary 3D instance segmentation is cutting-edge for its ability to segment 3D instances without predefined categories. However, progress in 3D lags behind its 2D counterpart due to limited annotated 3D data. To address this, recent works first generate 2D open-vocabulary masks through 2D models and then merge them into 3D instances based on metrics calculated between two neighboring frames. In contrast to these local metrics, we propose a novel metric, view consensus rate, to enhance the utilization of multi-view observations. The key insight is that two 2D masks should be deemed part of the same 3D instance if a significant number of other 2D masks from different views contain both these two masks. Using this metric as edge weight, we construct a global mask graph where each mask is a node. Through iterative clustering of masks showing high view consensus, we generate a series of clusters, each representing a distinct 3D instance. Notably, our model is training-free. Through extensive experiments on publicly available datasets, including ScanNet++, ScanNet200 and MatterPort3D, we demonstrate that our method achieves state-of-the-art performance in open-vocabulary 3D instance segmentation. Our project page is at https://pku-epic.github.io/MaskClustering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google