PSDF: Prior-Driven Neural Implicit Surface Learning for Multi-view Reconstruction

要約

サーフェスの再構築は従来、マルチビュー ステレオ (MVS) ベースのパイプラインに依存していましたが、多くの場合、ノイズが多く不完全なジオメトリに悩まされていました。
これは、MVS はシーンのジオメトリを復元する効果的な方法であることが証明されていますが、特にテクスチャが豊かな局所的に詳細な領域では、テクスチャが低く、照明の変動が大きく、フォトメトリックの一貫性が保たれない領域を処理するのに苦労するためです。
信頼性がありません。
最近、Neural Implicit Surface Reconstruction (NISR) がサーフェス レンダリングとボリューム レンダリング技術を組み合わせ、中間ステップとして MVS をバイパスします。これは、従来のパイプラインの制限を克服する有望な代替手段として浮上しています。
NISR は単純なシーンで優れた結果を示していますが、制約が不十分な最適化によって引き起こされる、制御されていない現実世界のシーンから繊細なジオメトリを復元することは依然として困難です。
この目的を達成するために、事前学習済み MVS ネットワークからの外部幾何事前分布と NISR モデルに固有の内部幾何事前分布に頼って、高品質のニューラル暗黙的曲面学習を促進するフレームワーク PSDF が提案されています。
具体的には、可視性を意識した特徴の一貫性損失と、外部の幾何学的事前分布に基づく深度事前支援サンプリングが導入されます。
これらの提案は、強力な幾何学的一貫性制約を提供し、サーフェスの交点の位置を特定するのに役立ち、それによって NISR の精度と繊細な再構成が大幅に向上します。
一方、内部の事前ガイドによる重要度レンダリングは、NISR における偏ったレンダリングの問題を軽減することで、再構成されたサーフェス メッシュの忠実度を高めるために提供されます。
Tanks and Temples データセットに関する広範な実験により、PSDF が制御されていない複雑なシーンで最先端のパフォーマンスを達成できることがわかりました。

要約(オリジナル)

Surface reconstruction has traditionally relied on the Multi-View Stereo (MVS)-based pipeline, which often suffers from noisy and incomplete geometry. This is due to that although MVS has been proven to be an effective way to recover the geometry of the scenes, especially for locally detailed areas with rich textures, it struggles to deal with areas with low texture and large variations of illumination where the photometric consistency is unreliable. Recently, Neural Implicit Surface Reconstruction (NISR) combines surface rendering and volume rendering techniques and bypasses the MVS as an intermediate step, which has emerged as a promising alternative to overcome the limitations of traditional pipelines. While NISR has shown impressive results on simple scenes, it remains challenging to recover delicate geometry from uncontrolled real-world scenes which is caused by its underconstrained optimization. To this end, the framework PSDF is proposed which resorts to external geometric priors from a pretrained MVS network and internal geometric priors inherent in the NISR model to facilitate high-quality neural implicit surface learning. Specifically, the visibility-aware feature consistency loss and depth prior-assisted sampling based on external geometric priors are introduced. These proposals provide powerfully geometric consistency constraints and aid in locating surface intersection points, thereby significantly improving the accuracy and delicate reconstruction of NISR. Meanwhile, the internal prior-guided importance rendering is presented to enhance the fidelity of the reconstructed surface mesh by mitigating the biased rendering issue in NISR. Extensive experiments on the Tanks and Temples dataset show that PSDF achieves state-of-the-art performance on complex uncontrolled scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google