Multi-View Mesh Reconstruction with Neural Deferred Shading

要約

任意の材料と照明を使用した不透明なオブジェクトの高速マルチビュー 3D 再構成のための合成による分析方法を提案します。
最先端の方法では、ニューラル サーフェス表現とニューラル レンダリングの両方が使用されます。
柔軟なニューラル サーフェス表現は、最適化実行時の重大なボトルネックです。
代わりに、サーフェスを三角形のメッシュとして表現し、三角形のラスター化とニューラル シェーディングを中心に微分可能なレンダリング パイプラインを構築します。
レンダラーは勾配降下最適化で使用され、三角形メッシュとニューラル シェーダーの両方が共同で最適化され、マルチビュー イメージが再現されます。
パブリック 3D 再構成データセットでこの方法を評価し、従来のベースラインとニューラル アプローチの再構成精度に匹敵し、最適化ランタイムでそれらを上回っていることを示します。
さらに、シェーダーを調査したところ、解釈可能な外観の表現を学習し、3D マテリアル編集などのアプリケーションを可能にすることがわかりました。

要約(オリジナル)

We propose an analysis-by-synthesis method for fast multi-view 3D reconstruction of opaque objects with arbitrary materials and illumination. State-of-the-art methods use both neural surface representations and neural rendering. While flexible, neural surface representations are a significant bottleneck in optimization runtime. Instead, we represent surfaces as triangle meshes and build a differentiable rendering pipeline around triangle rasterization and neural shading. The renderer is used in a gradient descent optimization where both a triangle mesh and a neural shader are jointly optimized to reproduce the multi-view images. We evaluate our method on a public 3D reconstruction dataset and show that it can match the reconstruction accuracy of traditional baselines and neural approaches while surpassing them in optimization runtime. Additionally, we investigate the shader and find that it learns an interpretable representation of appearance, enabling applications such as 3D material editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google