MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction

要約

スコア蒸留サンプリング (SDS) などの最適化ベースのアプローチは、ゼロショット 3D 生成で有望ですが、主に各サンプルに必要な関数評価 (NFE) の数が多く、最適化の制限が制限されるため、効率が低いという問題があります。
潜在空間へ。
この論文では、微分可能な 3D 再構成プロセスを模倣して NFE を削減し、ピクセル空間での最適化を可能にする効率的かつ一般的なアルゴリズムであるスコアベースの反復再構成 (SIR) を紹介します。
マルチビュー スコアベースの拡散モデルからサンプリングされた画像の単一セットが与えられると、SDS の単一ステップの最適化とは異なり、SIR は 3D パラメーターを繰り返し最適化します。
トレーニングにおける他の改善とともに、さまざまな 3D 表現や 3D 生成タスクに一般的に適用される MicroDreamer と呼ばれる効率的なアプローチを紹介します。
特に、MicroDreamer は、同等のパフォーマンスを維持しながらニューラル放射フィールドの生成において SDS より 5 ～ 20 倍高速であり、単一の A100 GPU 上で 3D ガウス スプラッティングからメッシュを作成するのに約 20 秒かかり、最速の最適化ベースのベースラインの時間を半分に短縮します。
測定標準偏差と比較して大幅に優れたパフォーマンスを備えた DreamGaussian。
私たちのコードは https://github.com/ML-GSAI/MicroDreamer で入手できます。

要約(オリジナル)

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample and the limitation of optimization confined to latent space. This paper introduces score-based iterative reconstruction (SIR), an efficient and general algorithm mimicking a differentiable 3D reconstruction process to reduce the NFEs and enable optimization in pixel space. Given a single set of images sampled from a multi-view score-based diffusion model, SIR repeatedly optimizes 3D parameters, unlike the single-step optimization in SDS. With other improvements in training, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field while retaining a comparable performance and takes about 20 seconds to create meshes from 3D Gaussian splatting on a single A100 GPU, halving the time of the fastest optimization-based baseline DreamGaussian with significantly superior performance compared to the measurement standard deviation. Our code is available at https://github.com/ML-GSAI/MicroDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google