SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

要約

この作業では、アマチュア ユーザー向けの 3D アセット生成を簡素化するために構築された新しいフレームワークを紹介します。
インタラクティブな生成を可能にするために、私たちの方法は、画像、テキスト、部分的に観察された形状、およびこれらの組み合わせなど、人間が簡単に提供できるさまざまな入力モダリティをサポートし、さらに各入力の強度を調整できるようにします。
私たちのアプローチの中核にあるのは、3D 形状をコンパクトな潜在表現に圧縮するエンコーダー/デコーダーであり、その上で拡散モデルが学習されます。
さまざまなマルチモーダル入力を有効にするために、ドロップアウトとそれに続くクロスアテンションメカニズムを備えたタスク固有のエンコーダーを採用しています。
その柔軟性により、私たちのモデルはさまざまなタスクを自然にサポートし、形状の完成、画像ベースの 3D 再構成、およびテキストから 3D への以前の作業よりも優れています。
最も興味深いことに、私たちのモデルはこれらすべてのタスクを 1 つのスイス アーミー ナイフ ツールに結合できるため、ユーザーは不完全な形状、画像、およびテキストの説明を同時に使用して形状生成を実行でき、各入力に相対的な重みを提供し、対話性を促進できます。
.
私たちのアプローチは形状のみですが、大規模なテキストから画像へのモデルを使用して、生成された形状をテクスチャリングする効率的な方法をさらに示します。

要約(オリジナル)

In this work, we present a novel framework built to simplify 3D asset generation for amateur users. To enable interactive generation, our method supports a variety of input modalities that can be easily provided by a human, including images, text, partially observed shapes and combinations of these, further allowing to adjust the strength of each input. At the core of our approach is an encoder-decoder, compressing 3D shapes into a compact latent representation, upon which a diffusion model is learned. To enable a variety of multi-modal inputs, we employ task-specific encoders with dropout followed by a cross-attention mechanism. Due to its flexibility, our model naturally supports a variety of tasks, outperforming prior works on shape completion, image-based 3D reconstruction, and text-to-3D. Most interestingly, our model can combine all these tasks into one swiss-army-knife tool, enabling the user to perform shape generation using incomplete shapes, images, and textual descriptions at the same time, providing the relative weights for each input and facilitating interactivity. Despite our approach being shape-only, we further show an efficient method to texture the generated shape using large-scale text-to-image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google