Exploiting Multiple Priors for Neural 3D Indoor Reconstruction

要約

ニューラル インプリシット モデリングを使用すると、小さなオブジェクトに対して印象的な 3D 再構築結果を達成できますが、大規模な屋内シーンでは大きな制限が生じます。
この研究では、画像のみに依存しながら、複数の正則化戦略を活用して大規模な屋内環境のより適切な再構成を実現する、新しいニューラル暗黙的モデリング手法を提案します。
まばらだが正確な深度事前分布を使用して、シーンを初期モデルに固定します。
密度は高いが精度が低い深度事前分布も導入されており、推定ジオメトリを改善するためにモデルをそこから発散させるのに十分な柔軟性を備えています。
次に、推定された表面法線を正規化するための新しい自己教師あり戦略が提示されます。
最後に、学習可能な露出補正スキームにより、困難な照明条件に対処できます。
実験結果は、私たちのアプローチが困難な屋内シナリオでも最先端の 3D 再構成を生成することを示しています。

要約(オリジナル)

Neural implicit modeling permits to achieve impressive 3D reconstruction results on small objects, while it exhibits significant limitations in large indoor scenes. In this work, we propose a novel neural implicit modeling method that leverages multiple regularization strategies to achieve better reconstructions of large indoor environments, while relying only on images. A sparse but accurate depth prior is used to anchor the scene to the initial model. A dense but less accurate depth prior is also introduced, flexible enough to still let the model diverge from it to improve the estimated geometry. Then, a novel self-supervised strategy to regularize the estimated surface normals is presented. Finally, a learnable exposure compensation scheme permits to cope with challenging lighting conditions. Experimental results show that our approach produces state-of-the-art 3D reconstructions in challenging indoor scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google