Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation

要約

放射輝度場伝搬 (RFP) を提示します。これは、シーンのラベル付けされていない多視点画像のみが与えられた場合に、再構成中にオブジェクトを 3D でセグメント化するための新しいアプローチです。
RFP は、新しいニューラル ラディアンス フィールド ベースの手法から派生したもので、セマンティクスを外観とジオメトリと共にエンコードします。
私たちの方法の核心は、双方向の測光損失を伴う個々のオブジェクトの放射輝度フィールドの新しい伝播戦略であり、さまざまなオブジェクトインスタンスに対応する顕著な領域または意味のある領域へのシーンの教師なし分割を可能にします。
複数のオブジェクトとオクルージョンを含む複雑なシーンをより適切に処理するために、反復的な期待値最大化アルゴリズムを提案して、オブジェクト マスクを改良します。
RFP は、監視、注釈、または 3D バウンディング ボックスやオブジェクト クラスの事前知識などの他のキューなしで、神経放射場 (NeRF) の 3D リアル シーン オブジェクト セグメンテーションに取り組むための最初の教師なしアプローチの 1 つです。
実験は、RFP が以前の教師なし画像/シーン セグメンテーション アプローチよりも正確であり、既存の教師あり NeRF ベースの方法に匹敵する実行可能なセグメンテーション結果を達成することを示しています。
セグメント化されたオブジェクト表現により、個々の 3D オブジェクトの編集操作が可能になります。

要約(オリジナル)

We present radiance field propagation (RFP), a novel approach to segmenting objects in 3D during reconstruction given only unlabeled multi-view images of a scene. RFP is derived from emerging neural radiance field-based techniques, which jointly encodes semantics with appearance and geometry. The core of our method is a novel propagation strategy for individual objects’ radiance fields with a bidirectional photometric loss, enabling an unsupervised partitioning of a scene into salient or meaningful regions corresponding to different object instances. To better handle complex scenes with multiple objects and occlusions, we further propose an iterative expectation-maximization algorithm to refine object masks. RFP is one of the first unsupervised approach for tackling 3D real scene object segmentation for neural radiance field (NeRF) without any supervision, annotations, or other cues such as 3D bounding boxes and prior knowledge of object class. Experiments demonstrate that RFP achieves feasible segmentation results that are more accurate than previous unsupervised image/scene segmentation approaches, and are comparable to existing supervised NeRF-based methods. The segmented object representations enable individual 3D object editing operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google