2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images

要約

最近、神経放射フィールドの基礎に基づいて、符号なし距離フィールド (UDF) を学習して、多視点画像から 3D 非水密モデルを再構成するさまざまな技術が登場しました。
しかし、UDF ベースのボリューム レンダリングにおける中心的な課題は、符号なしの距離値をボリューム密度に変換する適切な方法を定式化し、結果として得られる重み関数が偏りなく、オクルージョンの影響を受けやすい状態を保つようにすることです。
これらの要件を満たさないと、多くの場合、トポロジが不正確になったり、結果のモデルで大きな再構築エラーが発生したりします。
この論文では、多視点画像から高品質の UDF を学習するための新しい 2 段階アルゴリズム 2S-UDF を提示することで、この課題に対処します。
最初に、この方法は、わずかに偏っていて透明ではありますが、大まかな再構築に役立つ、簡単にトレーニング可能な密度関数を適用します。
後続のステージでは、ボリューム レンダリングで使用される重み関数を直接調整して、オブジェクトのジオメトリと外観を微調整し、バイアスがかからずオクルージョンを認識するようにし、高品質の再構成を実現します。
密度と重みを 2 段階で分離することにより、トレーニングが安定して堅牢になり、既存の UDF 学習アプローチとは区別されます。
DeepFashion3D、DTU、および BlendedMVS データセットの評価により、提案されたアプローチの堅牢性と有効性が検証されます。
この結果は、定量的メトリクスと視覚的品質の両方において、マルチビュー画像から 3D 非防水モデルを再構成する際に他の UDF 学習技術よりも優れたパフォーマンスを示しています。
コードは https://bitbucket.org/jkdeng/2sudf/ で入手できます。

要約(オリジナル)

Recently, building on the foundation of neural radiance field, various techniques have emerged to learn unsigned distance fields (UDF) to reconstruct 3D non-watertight models from multi-view images. Yet, a central challenge in UDF-based volume rendering is formulating a proper way to convert unsigned distance values into volume density, ensuring that the resulting weight function remains unbiased and sensitive to occlusions. Falling short on these requirements often results in incorrect topology or large reconstruction errors in resulting models. This paper addresses this challenge by presenting a novel two-stage algorithm, 2S-UDF, for learning a high-quality UDF from multi-view images. Initially, the method applies an easily trainable density function that, while slightly biased and transparent, aids in coarse reconstruction. The subsequent stage then refines the geometry and appearance of the object to achieve a high-quality reconstruction by directly adjusting the weight function used in volume rendering to ensure that it is unbiased and occlusion-aware. Decoupling density and weight in two stages makes our training stable and robust, distinguishing our technique from existing UDF learning approaches. Evaluations on the DeepFashion3D, DTU, and BlendedMVS datasets validate the robustness and effectiveness of our proposed approach. In both quantitative metrics and visual quality, the results indicate our superior performance over other UDF learning techniques in reconstructing 3D non-watertight models from multi-view images. Our code is available at https://bitbucket.org/jkdeng/2sudf/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google