CAD: Photorealistic 3D Generation via Adversarial Distillation

要約

AR/VR、ロボティクス、ゲーム アプリケーションにおける 3D データの需要の高まりにより、高品質の 3D オブジェクトを合成できる強力な生成パイプラインが誕生しました。
これらのモデルのほとんどは、スコア蒸留サンプリング (SDS) アルゴリズムに依存して 3D 表現を最適化し、レンダリングされたイメージが事前トレーニングされた拡散モデルによって評価されたとおりの高い尤度を維持します。
ただし、拡散モデルによって生成された高次元分布で正しいモードを見つけることは困難であり、多くの場合、過飽和、過剰平滑化、ヤヌスのようなアーティファクトなどの問題が発生します。
この論文では、事前にトレーニングされた拡散モデルを利用した 3D 合成のための新しい学習パラダイムを提案します。
モードシーキングに焦点を当てる代わりに、私たちの方法は、敵対的な方法でマルチビューレンダリングと拡散事前分布の間の分布の不一致を直接モデル化します。これにより、単一の画像とプロンプトを条件とした、忠実度の高いフォトリアリスティックな 3D コンテンツの生成が可能になります。
さらに、GAN の潜在空間と表現力豊かな拡散モデルの事前分布を利用することにより、私たちの方法は、シングルビュー再構築、高多様性生成、オープン ドメインでの連続 3D 補間など、さまざまな 3D アプリケーションを容易にします。
この実験は、生成の品質と多様性の点で、以前の研究と比較して、私たちのパイプラインの優位性を示しています。

要約(オリジナル)

The increased demand for 3D data in AR/VR, robotics and gaming applications, gave rise to powerful generative pipelines capable of synthesizing high-quality 3D objects. Most of these models rely on the Score Distillation Sampling (SDS) algorithm to optimize a 3D representation such that the rendered image maintains a high likelihood as evaluated by a pre-trained diffusion model. However, finding a correct mode in the high-dimensional distribution produced by the diffusion model is challenging and often leads to issues such as over-saturation, over-smoothing, and Janus-like artifacts. In this paper, we propose a novel learning paradigm for 3D synthesis that utilizes pre-trained diffusion models. Instead of focusing on mode-seeking, our method directly models the distribution discrepancy between multi-view renderings and diffusion priors in an adversarial manner, which unlocks the generation of high-fidelity and photorealistic 3D content, conditioned on a single image and prompt. Moreover, by harnessing the latent space of GANs and expressive diffusion model priors, our method facilitates a wide variety of 3D applications including single-view reconstruction, high diversity generation and continuous 3D interpolation in the open domain. The experiments demonstrate the superiority of our pipeline compared to previous works in terms of generation quality and diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google