Controllable Mesh Generation Through Sparse Latent Point Diffusion Models

要約

メッシュ生成は、コンピューター グラフィックスや仮想コンテンツを含むさまざまなアプリケーションで大きな価値がありますが、メッシュの生成モデルの設計は、不規則なデータ構造と、同じカテゴリ内のメッシュの一貫性のないトポロジーのために困難です。
この作業では、メッシュ生成のための新しいスパース潜在点拡散モデルを設計します。
私たちの重要な洞察は、点群をメッシュの中間表現と見なし、代わりに点群の分布をモデル化することです。
メッシュは、Shape as Points (SAP) などの手法を使用して点群から生成できますが、メッシュを直接生成するという課題は効果的に回避できます。
メッシュ生成方法の効率と制御性を高めるために、点群を、点ごとの意味のある意味のある特徴を持つ疎な潜在点のセットにさらにエンコードすることを提案します。
これらの潜在点における潜在点の位置と特徴の分布。
この潜在空間でのサンプリングは、高密度の点群を直接サンプリングするよりも高速であることがわかります。
さらに、まばらな潜在点により、生成されたメッシュの全体的な構造と局所的な詳細の両方を明示的に制御することもできます。
ShapeNet データセットに対して広範な実験が行われ、提案されたスパース潜在点拡散モデルは、既存の方法と比較して、生成品質と制御性の点で優れたパフォーマンスを達成します。

要約(オリジナル)

Mesh generation is of great value in various applications involving computer graphics and virtual content, yet designing generative models for meshes is challenging due to their irregular data structure and inconsistent topology of meshes in the same category. In this work, we design a novel sparse latent point diffusion model for mesh generation. Our key insight is to regard point clouds as an intermediate representation of meshes, and model the distribution of point clouds instead. While meshes can be generated from point clouds via techniques like Shape as Points (SAP), the challenges of directly generating meshes can be effectively avoided. To boost the efficiency and controllability of our mesh generation method, we propose to further encode point clouds to a set of sparse latent points with point-wise semantic meaningful features, where two DDPMs are trained in the space of sparse latent points to respectively model the distribution of the latent point positions and features at these latent points. We find that sampling in this latent space is faster than directly sampling dense point clouds. Moreover, the sparse latent points also enable us to explicitly control both the overall structures and local details of the generated meshes. Extensive experiments are conducted on the ShapeNet dataset, where our proposed sparse latent point diffusion model achieves superior performance in terms of generation quality and controllability when compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google