DiffFacto: Controllable Part-Based 3D Point Cloud Generation with Cross Diffusion

要約

タイトル：DiffFacto：クロス拡散を用いた操作可能なパーツベースの3Dポイントクラウド生成

要約：
– 3Dポイントクラウド生成のコミュニティは最近大きな成長を遂げていますが、生成プロセスで直感的なユーザーコントロールを可能にする効果的な方法にはまだ欠けています。したがって、このような方法の一般的な有用性が制限されています。
– 形状を分解する直感的な方法は、その部分によるものであるため、操作可能なパーツベースのポイントクラウド生成のタスクに取り組むことを提案します。
– 操作可能な部分レベル制御を持つ形状の分布を学習する新しい確率的生成モデルであるDiffFactoを紹介します。
– 独立したパートスタイルとパート構成分布をモデル化する因数分解を提案し、提案された因数分解の下で整合的で妥当な形状を生成するための新しいクロス拡散ネットワークを提供します。
– 実験により、私たちの方法は多数の制御軸を持つ新しい形状を生成することができ、最新の部分レベル生成品質を達成し、形状の補間、混合、変換の編集などのさまざまな下流編集アプリケーションを可能にします。プロジェクトのウェブサイト：https://difffacto.github.io/

要約(オリジナル)

While the community of 3D point cloud generation has witnessed a big growth in recent years, there still lacks an effective way to enable intuitive user control in the generation process, hence limiting the general utility of such methods. Since an intuitive way of decomposing a shape is through its parts, we propose to tackle the task of controllable part-based point cloud generation. We introduce DiffFacto, a novel probabilistic generative model that learns the distribution of shapes with part-level control. We propose a factorization that models independent part style and part configuration distributions and presents a novel cross-diffusion network that enables us to generate coherent and plausible shapes under our proposed factorization. Experiments show that our method is able to generate novel shapes with multiple axes of control. It achieves state-of-the-art part-level generation quality and generates plausible and coherent shapes while enabling various downstream editing applications such as shape interpolation, mixing, and transformation editing. Project website: https://difffacto.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI