Neural Point Cloud Diffusion for Disentangled 3D Shape and Appearance Generation

要約

3D アセットの制御可能な生成は、AR/VR だけでなく、映画、ゲーム、エンジニアリングのコンテンツ作成などの多くの実用的なアプリケーションにとって重要です。
最近、拡散モデルは 3D オブジェクトの生成品質において顕著な成果を上げています。
しかし、既存のモデルはいずれも、形状と外観を個別に制御するための解絡生成を可能にしていません。
ハイブリッド点群と神経放射フィールドのアプローチを導入することで、そのようなもつれの解消を可能にする 3D 拡散モデルの適切な表現を初めて提示します。
局所密度および放射輝度デコーダの高次元特徴空間と組み合わせて、点位置にわたる拡散プロセスをモデル化します。
点の位置はオブジェクトの大まかな形状を表しますが、点の特徴により形状と外観の詳細をモデル化できます。
この解きほぐしにより、両方を独立してサンプリングできるため、両方を個別に制御できるようになります。
私たちのアプローチは、FID スコアを 30 ～ 90% 削減することで、以前のほぐし可能な方法と比較して、生成における新しい最先端の方法を確立し、他のほぐし不可能な最先端の方法と同等です。

要約(オリジナル)

Controllable generation of 3D assets is important for many practical applications like content creation in movies, games and engineering, as well as in AR/VR. Recently, diffusion models have shown remarkable results in generation quality of 3D objects. However, none of the existing models enable disentangled generation to control the shape and appearance separately. For the first time, we present a suitable representation for 3D diffusion models to enable such disentanglement by introducing a hybrid point cloud and neural radiance field approach. We model a diffusion process over point positions jointly with a high-dimensional feature space for a local density and radiance decoder. While the point positions represent the coarse shape of the object, the point features allow modeling the geometry and appearance details. This disentanglement enables us to sample both independently and therefore to control both separately. Our approach sets a new state of the art in generation compared to previous disentanglement-capable methods by reduced FID scores of 30-90% and is on-par with other non disentanglement-capable state-of-the art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google