InfoNorm: Mutual Information Shaping of Normals for Sparse-View Reconstruction

要約

マルチビュー画像からの 3D サーフェスの再構成は、シーンの理解とインタラクションに不可欠です。
ただし、複雑な屋内シーンでは、観察が限られているためあいまいさなどの課題が生じます。
Neural Radiance Fields (NeRF) や符号付き距離関数 (SDF) などの最近の暗黙的表面表現では、観察された情報の欠如を解決するためにさまざまな幾何学的事前分布が使用されています。
それにもかかわらず、それらのパフォーマンスは、事前トレーニングされたジオメトリ推定モデルの品質に大きく依存します。
このような依存性を緩和するために、相関性の高いシーン点の表面法線間の相互情報を明示的に促進することで幾何学的モデリングを正規化することを提案します。
このようにして、幾何学学習プロセスは、ノイズの多い (1 次) 幾何学的事前分布からの 2 次相関によって調整され、貧弱な一般化によるバイアスが排除されます。
さらに、意味論的および幾何学的特徴を利用して相関点を特定し、それに応じてそれらの相互情報を強化する、シンプルかつ効果的なスキームを導入します。
提案された手法は、SDF ベースのニューラル サーフェス表現のプラグインとして機能します。
私たちの実験は、主要な最先端技術の表面再構成の品質を向上させる上で提案されたものの有効性を実証しています。
コードは \url{https://github.com/Muliphein/InfoNorm} から入手できます。

要約(オリジナル)

3D surface reconstruction from multi-view images is essential for scene understanding and interaction. However, complex indoor scenes pose challenges such as ambiguity due to limited observations. Recent implicit surface representations, such as Neural Radiance Fields (NeRFs) and signed distance functions (SDFs), employ various geometric priors to resolve the lack of observed information. Nevertheless, their performance heavily depends on the quality of the pre-trained geometry estimation models. To ease such dependence, we propose regularizing the geometric modeling by explicitly encouraging the mutual information among surface normals of highly correlated scene points. In this way, the geometry learning process is modulated by the second-order correlations from noisy (first-order) geometric priors, thus eliminating the bias due to poor generalization. Additionally, we introduce a simple yet effective scheme that utilizes semantic and geometric features to identify correlated points, enhancing their mutual information accordingly. The proposed technique can serve as a plugin for SDF-based neural surface representations. Our experiments demonstrate the effectiveness of the proposed in improving the surface reconstruction quality of major states of the arts. Our code is available at: \url{https://github.com/Muliphein/InfoNorm}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google