Panoptic Vision-Language Feature Fields

要約

最近、3D オープンボキャブラリーのセマンティックセグメンテーションのための方法が提案されています。
このようなメソッドは、実行時に提供されるテキストの説明に基づいてシーンを任意のクラスにセグメント化できます。
この論文では、私たちの知る限り、3D シーンにおけるオープンボキャブラリーのパノプティックセグメンテーションのための最初のアルゴリズムを提案します。
私たちのアルゴリズムであるパノプティック視覚言語特徴フィールド (PVLFF) は、事前トレーニングされた 2D モデルから視覚言語特徴を抽出することによってシーンの意味論的特徴フィールドを学習し、入力フレーム上の 2D インスタンス セグメントを使用した対比学習を通じてインスタンス特徴フィールドを結合して適合させます。
。
ターゲット クラスでトレーニングされていないにもかかわらず、私たちの方法は、HyperSim、ScanNet、およびレプリカ データセット上の最先端のクローズドセット 3D システムと同様のパノプティック セグメンテーション パフォーマンスを達成し、さらに、次の点で現在の 3D オープンボキャブラリ システムを上回ります。
セマンティックセグメンテーション。
モデル アーキテクチャの有効性を実証するために、メソッドのコンポーネントをアブレーションします。
私たちのコードは https://github.com/ethz-asl/pvlff で入手できます。

要約(オリジナル)

Recently, methods have been proposed for 3D open-vocabulary semantic segmentation. Such methods are able to segment scenes into arbitrary classes based on text descriptions provided during runtime. In this paper, we propose to the best of our knowledge the first algorithm for open-vocabulary panoptic segmentation in 3D scenes. Our algorithm, Panoptic Vision-Language Feature Fields (PVLFF), learns a semantic feature field of the scene by distilling vision-language features from a pretrained 2D model, and jointly fits an instance feature field through contrastive learning using 2D instance segments on input frames. Despite not being trained on the target classes, our method achieves panoptic segmentation performance similar to the state-of-the-art closed-set 3D systems on the HyperSim, ScanNet and Replica dataset and additionally outperforms current 3D open-vocabulary systems in terms of semantic segmentation. We ablate the components of our method to demonstrate the effectiveness of our model architecture. Our code will be available at https://github.com/ethz-asl/pvlff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google