InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models

要約

InstantMesh は、単一の画像から瞬時に 3D メッシュを生成するためのフィードフォワード フレームワークであり、最先端の生成品質と優れたトレーニング スケーラビリティを備えています。
既製のマルチビュー拡散モデルと LRM アーキテクチャに基づくスパースビュー再構成モデ​​ルの長所を相乗させることで、InstantMesh は 10 秒以内に多様な 3D アセットを作成できます。
トレーニング効率を高め、深さや法線などのより幾何学的監視を活用するために、微分可能な等値面抽出モジュールをフレームワークに統合し、メッシュ表現で直接最適化します。
公開データセットでの実験結果は、InstantMesh が他の最新の画像から 3D ベースラインよりも定性的および定量的に大幅に優れていることを示しています。
私たちは、InstantMesh が 3D 生成 AI のコミュニティに多大な貢献をし、研究者とコンテンツ作成者の両方に力を与えることを目的として、InstantMesh のすべてのコード、重み、およびデモをリリースします。

要約(オリジナル)

We present InstantMesh, a feed-forward framework for instant 3D mesh generation from a single image, featuring state-of-the-art generation quality and significant training scalability. By synergizing the strengths of an off-the-shelf multiview diffusion model and a sparse-view reconstruction model based on the LRM architecture, InstantMesh is able to create diverse 3D assets within 10 seconds. To enhance the training efficiency and exploit more geometric supervisions, e.g, depths and normals, we integrate a differentiable iso-surface extraction module into our framework and directly optimize on the mesh representation. Experimental results on public datasets demonstrate that InstantMesh significantly outperforms other latest image-to-3D baselines, both qualitatively and quantitatively. We release all the code, weights, and demo of InstantMesh, with the intention that it can make substantial contributions to the community of 3D generative AI and empower both researchers and content creators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google