Interactive Segment Anything NeRF with Feature Imitation

要約

この論文では、アプリケーションを拡張するためにセマンティクスを使用して Neural Radiance Fields (NeRF) を強化する可能性を調査します。
NeRF は VR やデジタル制作などの実世界のアプリケーションで役立つことが証明されていますが、セマンティクスが欠如しているため、複雑なシーンでのオブジェクトとの対話が妨げられます。
私たちは、NeRF を使用してゼロショット セマンティック セグメンテーションを達成するために、既製の知覚モデルのバックボーン機能を模倣することを提案します。
私たちのフレームワークは、セマンティック特徴を直接レンダリングし、知覚モデルからのデコーダーのみを適用することにより、セグメンテーション プロセスを再定式化します。
これにより、高価なバックボーンが不要になり、3D の一貫性が向上します。
さらに、学習したセマンティクスを抽出したメッシュ サーフェスに投影して、リアルタイム インタラクションを実現できます。
最先端の Segment Anything Model (SAM) を使用する当社のフレームワークは、同等のマスク品質でセグメンテーションを 16 倍高速化します。
実験結果は、私たちのアプローチの有効性と計算上の利点を示しています。
プロジェクトページ: \url{https://me.kiu​​i.moe/san/}。

要約(オリジナル)

This paper investigates the potential of enhancing Neural Radiance Fields (NeRF) with semantics to expand their applications. Although NeRF has been proven useful in real-world applications like VR and digital creation, the lack of semantics hinders interaction with objects in complex scenes. We propose to imitate the backbone feature of off-the-shelf perception models to achieve zero-shot semantic segmentation with NeRF. Our framework reformulates the segmentation process by directly rendering semantic features and only applying the decoder from perception models. This eliminates the need for expensive backbones and benefits 3D consistency. Furthermore, we can project the learned semantics onto extracted mesh surfaces for real-time interaction. With the state-of-the-art Segment Anything Model (SAM), our framework accelerates segmentation by 16 times with comparable mask quality. The experimental results demonstrate the efficacy and computational advantages of our approach. Project page: \url{https://me.kiui.moe/san/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google