LIRM: Large Inverse Rendering Model for Progressive Reconstruction of Shape, Materials and View-dependent Radiance Fields

要約

大規模な逆レンダリングモデル（LIRM）を提示します。これは、高品質の形状、材料、および放射磁場を1秒未満で共同で再構築する変圧器アーキテクチャを提示します。
私たちのモデルは、最先端のスパースビュー再構成品質を達成する最近の大規模な再構成モデ​​ル（LRMS）に基づいています。
ただし、既存のLRMは、目に見えない部品を正確に再構築するのに苦労しており、光沢のある外観を回復したり、標準のグラフィックスエンジンで消費できる信頼できる3Dコンテンツを生成することはできません。
これらの制限に対処するために、3つの重要な技術的貢献を行い、より実用的なマルチビュー3D再構成フレームワークを構築します。
最初に、再構成を改善するために入力ビューを徐々に追加できるようにする更新モデルを導入します。
第二に、詳細なテクスチャ、ジオメトリ、および材料パラメーターをよりよく回復するために、ヘキサプレーンニューラルSDF表現を提案します。
第三に、視界依存効果を処理するための新しい神経方向の埋め込みメカニズムを開発します。
カスタマイズされた粗からファイントレーニングスキームを使用して、大規模な形状と材料データセットでトレーニングされたこのモデルは、説得力のある結果を達成します。
これは、推論時間のほんの一部のみを必要とする一方で、ジオメトリと再生精度の観点から、最適化ベースの密度の逆レンダリング方法と比較して比較します。

要約(オリジナル)

We present Large Inverse Rendering Model (LIRM), a transformer architecture that jointly reconstructs high-quality shape, materials, and radiance fields with view-dependent effects in less than a second. Our model builds upon the recent Large Reconstruction Models (LRMs) that achieve state-of-the-art sparse-view reconstruction quality. However, existing LRMs struggle to reconstruct unseen parts accurately and cannot recover glossy appearance or generate relightable 3D contents that can be consumed by standard Graphics engines. To address these limitations, we make three key technical contributions to build a more practical multi-view 3D reconstruction framework. First, we introduce an update model that allows us to progressively add more input views to improve our reconstruction. Second, we propose a hexa-plane neural SDF representation to better recover detailed textures, geometry and material parameters. Third, we develop a novel neural directional-embedding mechanism to handle view-dependent effects. Trained on a large-scale shape and material dataset with a tailored coarse-to-fine training scheme, our model achieves compelling results. It compares favorably to optimization-based dense-view inverse rendering methods in terms of geometry and relighting accuracy, while requiring only a fraction of the inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google