Neural Implicit Vision-Language Feature Fields

要約

最近、オープン語彙のセマンティック イメージ セグメンテーションに関する画期的な結果が発表されました。
このようなメソッドは、画像内の各ピクセルを、トレーニング時に定義されるクラスの固定セットとは対照的に、実行時にテキスト プロンプトの形式で提供される任意のカテゴリに分割します。
この作業では、ゼロ ショット ボリューム オープン語彙セマンティック シーン セグメンテーション メソッドを提示します。
私たちの方法は、視覚言語モデルからの画像の特徴をニューラルの暗黙の表現に融合できるという洞察に基づいています。
自然言語のテキスト プロンプトにポイントを割り当てることで、結果の特徴フィールドをさまざまなクラスに分割できることを示します。
暗黙的なボリューム表現により、シーンの任意の視点から特徴マップをレンダリングすることで、3D と 2D の両方でシーンをセグメント化できます。
私たちの方法がノイズの多い現実世界のデータで機能し、テキストプロンプトに動的に調整するライブセンサーデータでリアルタイムで実行できることを示します。
また、ScanNet データセットの定量的な比較も示します。

要約(オリジナル)

Recently, groundbreaking results have been presented on open-vocabulary semantic image segmentation. Such methods segment each pixel in an image into arbitrary categories provided at run-time in the form of text prompts, as opposed to a fixed set of classes defined at training time. In this work, we present a zero-shot volumetric open-vocabulary semantic scene segmentation method. Our method builds on the insight that we can fuse image features from a vision-language model into a neural implicit representation. We show that the resulting feature field can be segmented into different classes by assigning points to natural language text prompts. The implicit volumetric representation enables us to segment the scene both in 3D and 2D by rendering feature maps from any given viewpoint of the scene. We show that our method works on noisy real-world data and can run in real-time on live sensor data dynamically adjusting to text prompts. We also present quantitative comparisons on the ScanNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google