Surface Normal Clustering for Implicit Representation of Manhattan Scenes

要約

暗黙的なニューラル フィールド表現を使用した新しいビュー合成と 3D モデリングは、校正されたマルチビュー カメラに対して非常に効果的であることが示されています。
このような表現は、追加の幾何学的および意味論的な監視から恩恵を受けることが知られています。
追加の監視を利用する既存の方法のほとんどは、高密度のピクセル単位のラベルまたは局所的なシーン事前処理を必要とします。
これらの方法は、シーンの説明に関して提供される高レベルのあいまいなシーン事前情報の恩恵を受けることができません。
この研究では、マンハッタン シーンの幾何学的事前分布を活用して、暗黙的なニューラル放射フィールド表現を改善することを目的としています。
より正確には、未知のマンハッタン座標系を使用して、屋内シーン (調査中) がマンハッタンであるという知識のみが知られており、追加情報はまったくないと仮定します。
このような高レベルの事前分布は、暗黙的なニューラル フィールドで明示的に導出された表面法線を自己監視するために使用されます。
私たちのモデリングにより、導出された法線をクラスター化し、それらの直交性制約を自己監視のために利用することができます。
さまざまな屋内シーンのデータセットに対する徹底的な実験により、確立されたベースラインを超える提案された方法の大きな利点が実証されました。
ソース コードは https://github.com/nikola3794/normal-clustering-nerf で入手できます。

要約(オリジナル)

Novel view synthesis and 3D modeling using implicit neural field representation are shown to be very effective for calibrated multi-view cameras. Such representations are known to benefit from additional geometric and semantic supervision. Most existing methods that exploit additional supervision require dense pixel-wise labels or localized scene priors. These methods cannot benefit from high-level vague scene priors provided in terms of scenes’ descriptions. In this work, we aim to leverage the geometric prior of Manhattan scenes to improve the implicit neural radiance field representations. More precisely, we assume that only the knowledge of the indoor scene (under investigation) being Manhattan is known — with no additional information whatsoever — with an unknown Manhattan coordinate frame. Such high-level prior is used to self-supervise the surface normals derived explicitly in the implicit neural fields. Our modeling allows us to cluster the derived normals and exploit their orthogonality constraints for self-supervision. Our exhaustive experiments on datasets of diverse indoor scenes demonstrate the significant benefit of the proposed method over the established baselines. The source code will be available at https://github.com/nikola3794/normal-clustering-nerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google