ClusteringSDF: Self-Organized Neural Implicit Surfaces for 3D Decomposition

要約

注釈付きの大規模な 3D データがすぐに入手できないため、3D 分解/セグメンテーションは依然として課題です。
現代のアプローチは通常、2D 機械生成セグメントを活用し、3D の一貫性を保つためにそれらを統合します。
これらの手法の大部分は NeRF に基づいていますが、インスタンス/セマンティック埋め込み機能が独立した MLP から派生するという潜在的な弱点に直面しており、そのためセグメンテーション ネットワークが放射輝度と密度を通じてオブジェクトの幾何学的詳細を直接学習することができません。
この論文では、ニューラル暗黙的サーフェス表現、特に信号距離関数 (SDF) を介して 3D でセグメンテーションと再構成の両方を達成する新しいアプローチである ClusteringSDF を提案します。このアプローチでは、セグメンテーション レンダリングがニューラル暗黙的サーフェスのボリューム レンダリングと直接統合されます。
ObjectSDF++ に基づいていますが、ClusteringSDF は個々のオブジェクトの表面を再構成する機能を維持しながら、監視のためのグラウンドトゥルース セグメントを必要としなくなりましたが、事前にトレーニングされたモデルから純粋にノイズが多く一貫性のないラベルが使用されます。ClusteringSDF の中核として、高い
– 2D ラベルを 3D にリフトするための効率的なクラスタリング メカニズムと、ScanNet およびレプリカ データセットからの困難なシーンに関する実験結果は、ClusteringSDF がトレーニング時間を大幅に短縮しながら、最先端のものと比較して競争力のあるパフォーマンスを達成できることを示しています。

要約(オリジナル)

3D decomposition/segmentation still remains a challenge as large-scale 3D annotated data is not readily available. Contemporary approaches typically leverage 2D machine-generated segments, integrating them for 3D consistency. While the majority of these methods are based on NeRFs, they face a potential weakness that the instance/semantic embedding features derive from independent MLPs, thus preventing the segmentation network from learning the geometric details of the objects directly through radiance and density. In this paper, we propose ClusteringSDF, a novel approach to achieve both segmentation and reconstruction in 3D via the neural implicit surface representation, specifically Signal Distance Function (SDF), where the segmentation rendering is directly integrated with the volume rendering of neural implicit surfaces. Although based on ObjectSDF++, ClusteringSDF no longer requires the ground-truth segments for supervision while maintaining the capability of reconstructing individual object surfaces, but purely with the noisy and inconsistent labels from pre-trained models.As the core of ClusteringSDF, we introduce a high-efficient clustering mechanism for lifting the 2D labels to 3D and the experimental results on the challenging scenes from ScanNet and Replica datasets show that ClusteringSDF can achieve competitive performance compared against the state-of-the-art with significantly reduced training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google