Diffusion-SDF: Conditional Generative Modeling of Signed Distance Functions

要約

確率的拡散モデルは、画像合成、修復、およびテキストから画像へのタスクで最先端の結果を達成しました。
ただし、それらはまだ複雑な 3D 形状を生成する初期段階にあります。
この作業では、形状の完成、単一ビューの再構成、および実際にスキャンされた点群の再構成のための生成モデルである拡散 SDF を提案します。
ニューラル ネットワークを介してさまざまな信号 (点群、2D 画像など) のジオメトリをパラメーター化するために、3D 表現としてニューラル符号付き距離関数 (SDF) を使用します。
ニューラル SDF は陰関数であり、それらを拡散することは、カスタム変調モジュールを使用して解決するニューラル ネットワークの重みの反転を学習することになります。
広範な実験により、私たちの方法が現実的な無条件生成と部分入力からの条件付き生成の両方が可能であることを示しています。
この作業は、拡散モデルの領域を 2D の明示的な表現の学習から 3D の暗黙的な表現に拡張します。

要約(オリジナル)

Probabilistic diffusion models have achieved state-of-the-art results for image synthesis, inpainting, and text-to-image tasks. However, they are still in the early stages of generating complex 3D shapes. This work proposes Diffusion-SDF, a generative model for shape completion, single-view reconstruction, and reconstruction of real-scanned point clouds. We use neural signed distance functions (SDFs) as our 3D representation to parameterize the geometry of various signals (e.g., point clouds, 2D images) through neural networks. Neural SDFs are implicit functions and diffusing them amounts to learning the reversal of their neural network weights, which we solve using a custom modulation module. Extensive experiments show that our method is capable of both realistic unconditional generation and conditional generation from partial inputs. This work expands the domain of diffusion models from learning 2D, explicit representations, to 3D, implicit representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google