Neural Radiance Fields for Manhattan Scenes with Unknown Manhattan Frame

要約

タイトル：不明なマンハッタンフレームを持つマンハッタンシーンのためのニューラル放射フィールド

要約：
– 含意的ニューラルフィールド表現を用いた新しいビュー合成および3Dモデリングは、キャリブレーションされたマルチビューカメラに対して非常に効果的であることが示されています。この表現は、追加の幾何学的および意味的な監視の恩恵を受けることが知られています。
– 追加の監視を利用する多くの既存の方法は、密なピクセルごとのラベルまたは局所的なシーンの優先事項が必要です。これらの方法は、シーンの記述として提示される高レベルな曖昧なシーンの優先事項から恩恵を受けることはできません。
– 本研究では、マンハッタンシーンの幾何学的な先例を利用して、暗黙的なニューラル放射フィールド表現を改善することを目的としています。より具体的には、調査対象である屋内シーンがマンハッタンであることだけが知られており、未知のマンハッタン座標フレーム情報があります。この高レベルの先例は、暗黙的なニューラルフィールドで明示的に導出された表面の法線を自己監視するために使用されます。
– 私たちのモデリングは、導出された法線をグループ化し、自己監督のためにその直交制約を利用することを可能にします。多様な屋内シーンのデータセット上の徹底的な実験は、提案手法が確立されたベースラインよりも大幅な利益をもたらすことを示しています。

要約(オリジナル)

Novel view synthesis and 3D modeling using implicit neural field representation are shown to be very effective for calibrated multi-view cameras. Such representations are known to benefit from additional geometric and semantic supervision. Most existing methods that exploit additional supervision require dense pixel-wise labels or localized scene priors. These methods cannot benefit from high-level vague scene priors provided in terms of scenes’ descriptions. In this work, we aim to leverage the geometric prior of Manhattan scenes to improve the implicit neural radiance field representations. More precisely, we assume that only the knowledge of the indoor scene (under investigation) being Manhattan is known — with no additional information whatsoever — with an unknown Manhattan coordinate frame. Such high-level prior is used to self-supervise the surface normals derived explicitly in the implicit neural fields. Our modeling allows us to group the derived normals and exploit their orthogonality constraints for self-supervision. Our exhaustive experiments on datasets of diverse indoor scenes demonstrate the significant benefit of the proposed method over the established baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI