Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement

要約

マルチビュー RGB 画像から屋内シーンを再構成することは、繊細で粒子の細かい領域と並行して、平らでテクスチャのない領域が共存するため、困難です。
最近の方法では、予測された表面法線事前分布を利用してニューラル放射輝度フィールドを利用して、シーンのジオメトリを復元します。
これらの方法は、床や壁の領域に完全かつ滑らかな結果を生み出すのに優れています。
しかし、不適切な神経表現と不正確に予測された法線事前分布のため、高周波構造を持つ複雑な表面を捕捉するのは困難です。
暗黙的表現の能力を向上させるために、低周波数領域と高周波数領域を別々に表現するハイブリッド アーキテクチャを提案します。
法線事前分布を強化するために、予測された表面法線ベクトルのピクセルごとの不確実性を推定するネットワークと組み合わせた、シンプルで効果的な画像鮮鋭化およびノイズ除去技術を導入します。
このような不確実性を特定することで、複雑な形状の正確な再構成を妨げる信頼性の低い表面法線監視によってモデルが誤解されるのを防ぐことができます。
ベンチマーク データセットの実験では、再構築の品質の点で、私たちの方法が既存の方法よりも大幅に優れていることが示されています。

要約(オリジナル)

The reconstruction of indoor scenes from multi-view RGB images is challenging due to the coexistence of flat and texture-less regions alongside delicate and fine-grained regions. Recent methods leverage neural radiance fields aided by predicted surface normal priors to recover the scene geometry. These methods excel in producing complete and smooth results for floor and wall areas. However, they struggle to capture complex surfaces with high-frequency structures due to the inadequate neural representation and the inaccurately predicted normal priors. To improve the capacity of the implicit representation, we propose a hybrid architecture to represent low-frequency and high-frequency regions separately. To enhance the normal priors, we introduce a simple yet effective image sharpening and denoising technique, coupled with a network that estimates the pixel-wise uncertainty of the predicted surface normal vectors. Identifying such uncertainty can prevent our model from being misled by unreliable surface normal supervisions that hinder the accurate reconstruction of intricate geometries. Experiments on the benchmark datasets show that our method significantly outperforms existing methods in terms of reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google