Instance Neural Radiance Field

要約

タイトル：Instance Neural Radiance Field
要約：
-画像から獲得されたNeRF（Neural Radiance Fields）を入力とし、3Dインスタンスのセグメンテーションを学習する第一世代のベースになるInstance Neural Radiance Field（Instance NeRF）パイプラインが紹介された。
-Instance NeRFは、与えられたシーンの3Dインスタンスセグメンテーションを学習するために、NeRFモデルのインスタンスフィールドコンポーネントとして表現される。
-NeRFからサンプリングされたボリュームトリックスから生成された3D提案ベースのマスク予測ネットワークを採用して、離散的な3Dインスタンスマスクを生成する。
-粗い3Dマスク予測が、既存のパノプティックセグメンテーションモデルによって生成された異なるビューの2Dセグメンテーションマスクにマッチするように画像空間に投影され、この方法でインスタンスフィールドのトレーニングが監視される。
-Instance NeRFは、新しいビューから一貫した2Dセグメンテーションマップを生成するだけでなく、任意の3Dポイントでインスタンス情報をクエリできるため、NeRFオブジェクトのセグメンテーションと操作を大幅に向上させている。
-実験は、複雑な屋内シーンを扱う合成およびリアルワールドのNeRFデータセットで行われ、Instance NeRFは、以前のNeRFセグメンテーション作品および競合2Dセグメンテーション方法を超える。

要約(オリジナル)

This paper presents one of the first learning-based NeRF 3D instance segmentation pipelines, dubbed as Instance Neural Radiance Field, or Instance NeRF. Taking a NeRF pretrained from multi-view RGB images as input, Instance NeRF can learn 3D instance segmentation of a given scene, represented as an instance field component of the NeRF model. To this end, we adopt a 3D proposal-based mask prediction network on the sampled volumetric features from NeRF, which generates discrete 3D instance masks. The coarse 3D mask prediction is then projected to image space to match 2D segmentation masks from different views generated by existing panoptic segmentation models, which are used to supervise the training of the instance field. Notably, beyond generating consistent 2D segmentation maps from novel views, Instance NeRF can query instance information at any 3D point, which greatly enhances NeRF object segmentation and manipulation. Our method is also one of the first to achieve such results without ground-truth instance information during inference. Experimented on synthetic and real-world NeRF datasets with complex indoor scenes, Instance NeRF surpasses previous NeRF segmentation works and competitive 2D segmentation methods in segmentation performance on unseen views. See the demo video at https://youtu.be/wW9Bme73coI.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI