TetraDiffusion: Tetrahedral Diffusion Models for 3D Shape Generation

要約

確率的ノイズ除去拡散モデル (DDM) は、2D 画像生成の新しい標準を設定しました。
3D コンテンツ作成のための DDM の拡張は、活発な研究分野です。
ここでは、効率的で高解像度の 3D 形状生成を可能にする 3D 空間の四面体分割に基づいて動作する拡散モデルである TetraDiffusion を提案します。
私たちのモデルには、四面体パーティションに直接作用する畳み込みと転置畳み込みの演算子が導入されており、色などの追加属性がシームレスに含まれています。
驚くべきことに、TetraDiffusion は、前例のない解像度で、ほぼリアルタイムで詳細な 3D オブジェクトの迅速なサンプリングを可能にします。
2D 画像に基づいて 3D 形状を生成することにも適しています。
既存の 3D メッシュ拡散技術と比較して、私たちの方法は推論速度が最大 200 倍速く、標準的な消費者向けハードウェアで動作し、優れた結果をもたらします。

要約(オリジナル)

Probabilistic denoising diffusion models (DDMs) have set a new standard for 2D image generation. Extending DDMs for 3D content creation is an active field of research. Here, we propose TetraDiffusion, a diffusion model that operates on a tetrahedral partitioning of 3D space to enable efficient, high-resolution 3D shape generation. Our model introduces operators for convolution and transpose convolution that act directly on the tetrahedral partition, and seamlessly includes additional attributes such as color. Remarkably, TetraDiffusion enables rapid sampling of detailed 3D objects in nearly real-time with unprecedented resolution. It’s also adaptable for generating 3D shapes conditioned on 2D images. Compared to existing 3D mesh diffusion techniques, our method is up to 200 times faster in inference speed, works on standard consumer hardware, and delivers superior results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google