MeshLRM: Large Reconstruction Model for High-Quality Mesh

要約

我々は、わずか 4 つの入力画像から 1 秒未満で高品質のメッシュを再構築できる新しい LRM ベースのアプローチである MeshLRM を提案します。
NeRF ベースの再構成に焦点を当てた以前の大規模再構成モデ​​ル (LRM) とは異なり、MeshLRM には、LRM フレームワーク内に微分可能なメッシュの抽出とレンダリングが組み込まれています。
これにより、メッシュ レンダリングを使用して事前トレーニングされた NeRF LRM を微調整することにより、エンドツーエンドのメッシュ再構築が可能になります。
さらに、以前の LRM のいくつかの複雑な設計を簡素化することで、LRM アーキテクチャを改善しました。
MeshLRM の NeRF 初期化は、低解像度画像と高解像度画像を使用して順次トレーニングされます。
この新しい LRM トレーニング戦略により、収束が大幅に高速化されるため、少ないコンピューティングで品質が向上します。
私たちのアプローチは、スパースビュー入力から最先端のメッシュ再構築を実現し、テキストから 3D への生成や単一画像から 3D への生成など、多くの下流アプリケーションも可能にします。
プロジェクトページ：https://sarahweiii.github.io/meshlrm/

要約(オリジナル)

We propose MeshLRM, a novel LRM-based approach that can reconstruct a high-quality mesh from merely four input images in less than one second. Different from previous large reconstruction models (LRMs) that focus on NeRF-based reconstruction, MeshLRM incorporates differentiable mesh extraction and rendering within the LRM framework. This allows for end-to-end mesh reconstruction by fine-tuning a pre-trained NeRF LRM with mesh rendering. Moreover, we improve the LRM architecture by simplifying several complex designs in previous LRMs. MeshLRM’s NeRF initialization is sequentially trained with low- and high-resolution images; this new LRM training strategy enables significantly faster convergence and thereby leads to better quality with less compute. Our approach achieves state-of-the-art mesh reconstruction from sparse-view inputs and also allows for many downstream applications, including text-to-3D and single-image-to-3D generation. Project page: https://sarahweiii.github.io/meshlrm/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google