Sin3DM: Learning a Diffusion Model from a Single 3D Textured Shape

要約

入力例に似た新しい 3D モデルを合成することは、コンピューター グラフィックスの研究者やアーティストによって長年追求されてきました。
この論文では、単一の 3D テクスチャ形状から内部パッチ分布を学習し、微細なジオメトリとテクスチャの詳細を備えた高品質のバリエーションを生成する拡散モデルである Sin3DM を紹介します。
拡散モデルを 3D で直接トレーニングすると、大量のメモリと計算コストが発生します。
したがって、まず入力を低次元の潜在空間に圧縮し、次にその上で拡散モデルをトレーニングします。
具体的には、入力の 3D テクスチャ形状を、入力の符号付き距離とテクスチャ フィールドを表すトリプレーン フィーチャ マップにエンコードします。
拡散モデルのノイズ除去ネットワークには、過学習を避けるために受容野が制限されており、トリプレーン対応の 2D 畳み込みブロックを使用して結果の品質を向上させています。
新しいサンプルをランダムに生成するだけでなく、私たちのモデルは、リターゲット、アウトペイント、ローカル編集などのアプリケーションも容易にします。
広範な定性的および定量的評価を通じて、私たちのモデルが従来の方法よりも高品質でさまざまなタイプの 3D 形状を生成できることを示します。

要約(オリジナル)

Synthesizing novel 3D models that resemble the input example has long been pursued by researchers and artists in computer graphics. In this paper, we present Sin3DM, a diffusion model that learns the internal patch distribution from a single 3D textured shape and generates high-quality variations with fine geometry and texture details. Training a diffusion model directly in 3D would induce large memory and computational cost. Therefore, we first compress the input into a lower-dimensional latent space and then train a diffusion model on it. Specifically, we encode the input 3D textured shape into triplane feature maps that represent the signed distance and texture fields of the input. The denoising network of our diffusion model has a limited receptive field to avoid overfitting, and uses triplane-aware 2D convolution blocks to improve the result quality. Aside from randomly generating new samples, our model also facilitates applications such as retargeting, outpainting and local editing. Through extensive qualitative and quantitative evaluation, we show that our model can generate 3D shapes of various types with better quality than prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google