DiffRF: Rendering-Guided 3D Radiance Field Diffusion

要約

我々は、拡散確率モデルのノイズ除去に基づく3次元輝度場合成のための新しいアプローチであるDiffRFを紹介する。既存の拡散に基づく手法は画像、潜在コード、点群データに対して動作するが、我々は体積輝度場を直接生成する最初の手法である。このため、我々は、明示的なボクセルグリッド表現を直接操作する3次元ノイズ除去モデルを提案する。しかし、ポーズ画像から生成された輝度場は曖昧でアーチファクトを含む可能性があり、真実の輝度場サンプルを得ることは容易でない。我々はこの課題に対処するため、ノイズ除去の定式化とレンダリング損失を組み合わせることで、我々のモデルが浮遊アーチファクトのようなフィッティングエラーを再現しようとするのではなく、良好な画像品質を好むような偏った事前分布を学習することを可能にする。2次元拡散モデルとは対照的に、本モデルはマルチビューの一貫した事前分布を学習することで、自由視点での合成と正確な形状生成を可能にする。3次元GANと比較して、我々の拡散に基づくアプローチは、推論時にマスク補完やシングルビュー3次元合成などの条件付き生成を自然に行うことができる。

要約(オリジナル)

We introduce DiffRF, a novel approach for 3D radiance field synthesis based on denoising diffusion probabilistic models. While existing diffusion-based methods operate on images, latent codes, or point cloud data, we are the first to directly generate volumetric radiance fields. To this end, we propose a 3D denoising model which directly operates on an explicit voxel grid representation. However, as radiance fields generated from a set of posed images can be ambiguous and contain artifacts, obtaining ground truth radiance field samples is non-trivial. We address this challenge by pairing the denoising formulation with a rendering loss, enabling our model to learn a deviated prior that favours good image quality instead of trying to replicate fitting errors like floating artifacts. In contrast to 2D-diffusion models, our model learns multi-view consistent priors, enabling free-view synthesis and accurate shape generation. Compared to 3D GANs, our diffusion-based approach naturally enables conditional generation such as masked completion or single-view 3D synthesis at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL