Locally Attentional SDF Diffusion for Controllable 3D Shape Generation

要約

タイトル：3D形状生成のためのLocally Attentional SDF Diffusion

要約：
– 3D生成ニューラルネットワークの急速な進化は3D形状生成を大幅に改善しましたが、一般のユーザーにとっては3D形状の生成や生成された形状の局所ジオメトリの制御が便利ではありません。
– これらの課題に対処するために、2Dスケッチ画像入力を介して合理的な3D形状をモデル化する拡散ベースの3D生成フレームワーク – locally attentional SDF diffusionを提案します。
– 本手法は、2段階の拡散モデルで構築されています。最初の段階であるオキュパンシーディフュージョンは、形状シェルを近似するために低解像度のオキュパンシーフィールドを生成することを目的としています。2段階目のSDFディフュージョンは、最初の段階で決定された占有ボクセル内で高解像度の符号付き距離フィールドを合成して細かいジオメトリを抽出します。
– 本モデルは、画像条件付きの形状生成における新しいビュー意識の局所的なアテンションメカニズムによって強化されており、2D画像パッチの特徴を利用して3Dボクセルの特徴学習を導くことで、局所的な可制御性とモデルの一般化性を大幅に向上させます。
– スケッチ条件付きおよびカテゴリ条件付きの3D形状生成タスクにおける広範な実験を通じて、本手法が合理的かつ多様な3D形状を提供する能力、および既存のワークに対する優れた制御性と一般化性を検証および証明する。
– コードとトレーニング済みモデルはhttps://zhengxinyang.github.io/projects/LAS-Diffusion.htmlで入手できます。

要約(オリジナル)

Although the recent rapid evolution of 3D generative neural networks greatly improves 3D shape generation, it is still not convenient for ordinary users to create 3D shapes and control the local geometry of generated shapes. To address these challenges, we propose a diffusion-based 3D generation framework — locally attentional SDF diffusion, to model plausible 3D shapes, via 2D sketch image input. Our method is built on a two-stage diffusion model. The first stage, named occupancy-diffusion, aims to generate a low-resolution occupancy field to approximate the shape shell. The second stage, named SDF-diffusion, synthesizes a high-resolution signed distance field within the occupied voxels determined by the first stage to extract fine geometry. Our model is empowered by a novel view-aware local attention mechanism for image-conditioned shape generation, which takes advantage of 2D image patch features to guide 3D voxel feature learning, greatly improving local controllability and model generalizability. Through extensive experiments in sketch-conditioned and category-conditioned 3D shape generation tasks, we validate and demonstrate the ability of our method to provide plausible and diverse 3D shapes, as well as its superior controllability and generalizability over existing work. Our code and trained models are available at https://zhengxinyang.github.io/projects/LAS-Diffusion.html

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI