PrimDiffusion: Volumetric Primitives Diffusion for 3D Human Generation

要約

3D 人間生成のための最初の拡散ベースのフレームワークである PrimDiffusion を紹介します。
3D ヒューマン生成のための拡散モデルを考案することは、3D 表現と 3D ヒューマンの関節状トポロジーに多大な計算コストがかかるため、困難です。
これらの課題に取り組むために、私たちの重要な洞察は、人体を放射輝度と運動学的情報を備えた多数の小さなボリュームとしてモデル化するボリューム プリミティブのセットに対して直接ノイズ除去拡散プロセスを実行することです。
この体積プリミティブ表現は、体積表現の能力とプリミティブベースのレンダリングの効率を結び付けます。
当社の PrimDiffusion フレームワークには、3 つの魅力的な特性があります。1) 拡散モデルのコンパクトで表現力豊かなパラメータ空間、2) 人間の事前処理を組み込んだ柔軟な 3D 表現、3) 効率的な新規ビューおよび新規ポーズ合成のためのデコーダ不要のレンダリング。
広範な実験により、PrimDiffusion が 3D 人間の生成において最先端の方法よりも優れていることが検証されています。
特に、GAN ベースの手法と比較して、当社の PrimDiffusion は、ノイズ除去プロセスが完了すると、$512\times512$ の解像度で高品質の 3D 人間のリアルタイム レンダリングをサポートします。
また、テクスチャ転送や 3D 修復などのトレーニング不要の条件付き生成に関するフレームワークの柔軟性も示します。

要約(オリジナル)

We present PrimDiffusion, the first diffusion-based framework for 3D human generation. Devising diffusion models for 3D human generation is difficult due to the intensive computational cost of 3D representations and the articulated topology of 3D humans. To tackle these challenges, our key insight is operating the denoising diffusion process directly on a set of volumetric primitives, which models the human body as a number of small volumes with radiance and kinematic information. This volumetric primitives representation marries the capacity of volumetric representations with the efficiency of primitive-based rendering. Our PrimDiffusion framework has three appealing properties: 1) compact and expressive parameter space for the diffusion model, 2) flexible 3D representation that incorporates human prior, and 3) decoder-free rendering for efficient novel-view and novel-pose synthesis. Extensive experiments validate that PrimDiffusion outperforms state-of-the-art methods in 3D human generation. Notably, compared to GAN-based methods, our PrimDiffusion supports real-time rendering of high-quality 3D humans at a resolution of $512\times512$ once the denoising process is done. We also demonstrate the flexibility of our framework on training-free conditional generation such as texture transfer and 3D inpainting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google