Neural Radiance Fields for Manhattan Scenes with Unknown Manhattan Frame

要約

暗黙の神経場表現を用いた新しいビュー合成と3Dモデリングは、較正されたマルチビューカメラに非常に有効であることが示される。このような表現は、幾何学的および意味的な監視を追加することで恩恵を受けることが知られている。既存の手法の多くは、ピクセル単位のラベルや局所的なシーンプリオアを必要とする。これらの方法は、シーンの記述の観点から提供される高レベルの曖昧なシーン事前分布を利用することができない。本研究では、マンハッタンシーンの幾何学的事前分布を利用して、暗黙的なニューラル輝度場表現を改善することを目的とする。より正確には、我々は（調査中の）シーンがマンハッタンであるという知識のみが-何の追加情報もなく-未知のマンハッタン座標フレームと共に-知られていると仮定する。このような高レベルの事前分布を利用して、暗黙の神経場において明示的に導出された表面法線を自己教師する。このモデル化により、導出された法線をグループ化し、その直交性制約を利用して自己教師することが可能となる。様々な室内シーンのデータセットに対する我々の徹底的な実験により、提案手法が確立されたベースラインに対して大きな利益をもたらすことを実証する。

要約(オリジナル)

Novel view synthesis and 3D modeling using implicit neural field representation are shown to be very effective for calibrated multi-view cameras. Such representations are known to benefit from additional geometric and semantic supervision. Most existing methods that exploit additional supervision require dense pixel-wise labels or localized scene priors. These methods cannot benefit from high-level vague scene priors provided in terms of scenes’ descriptions. In this work, we aim to leverage the geometric prior of Manhattan scenes to improve the implicit neural radiance field representations. More precisely, we assume that only the knowledge of the scene (under investigation) being Manhattan is known – with no additional information whatsoever – with an unknown Manhattan coordinate frame. Such high-level prior is then used to self-supervise the surface normals derived explicitly in the implicit neural fields. Our modeling allows us to group the derived normals, followed by exploiting their orthogonality constraints for self-supervision. Our exhaustive experiments on datasets of diverse indoor scenes demonstrate the significant benefit of the proposed method over the established baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL