Diffusion-SDF: Text-to-Shape via Voxelized Diffusion

要約

タイトル：Diffusion-SDF：ボクセル化された拡散を介したテキストからシェイプへ

要約：

– 3D仮想モデリング・テクノロジーへの注目が高まっている中で、指定された条件（例：テキスト）に基づいた新しい3Dコンテンツの生成は重要な課題となっています。
– 本論文では、Diffusion-SDFという新しい3D生成モデルを提案し、テキストからシェイプを生成するという複雑なタスクに取り組んでいます。
– これまでの手法では、3Dデータの表現や形状生成に対する柔軟性に欠けており、与えられたテキストの記述に従った高度に多様化した3Dシェイプを生成することができませんでした。
– この問題を解決するために、SDFオートエンコーダーとボクセル化拡散モデルを提案し、3Dシェイプのボクセル化された符号付き距離場（SDF）の表現を学習・生成します。
– 具体的には、U-Netアーキテクチャの内部にローカル重点的なネットワークを取り付けることで、パッチ独立のSDF表現の再構築を改善するユニークなUinU-Netアーキテクチャを設計します。
– また、本論文では、テキスト条件付きのシェイプ補完や操作など、その他のテキストからシェイプへのタスクに対して、アプローチを拡張しています。
– 実験結果から、従来のアプローチに比べて、Diffusion-SDFはより高品質かつ多様な3Dシェイプを生成し、与えられたテキストの記述に適合することが示されました。コードはGitHubで利用可能です。

要約(オリジナル)

With the rising industrial attention to 3D virtual modeling technology, generating novel 3D content based on specified conditions (e.g. text) has become a hot issue. In this paper, we propose a new generative 3D modeling framework called Diffusion-SDF for the challenging task of text-to-shape synthesis. Previous approaches lack flexibility in both 3D data representation and shape generation, thereby failing to generate highly diversified 3D shapes conforming to the given text descriptions. To address this, we propose a SDF autoencoder together with the Voxelized Diffusion model to learn and generate representations for voxelized signed distance fields (SDFs) of 3D shapes. Specifically, we design a novel UinU-Net architecture that implants a local-focused inner network inside the standard U-Net architecture, which enables better reconstruction of patch-independent SDF representations. We extend our approach to further text-to-shape tasks including text-conditioned shape completion and manipulation. Experimental results show that Diffusion-SDF generates both higher quality and more diversified 3D shapes that conform well to given text descriptions when compared to previous approaches. Code is available at: https://github.com/ttlmh/Diffusion-SDF

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI