Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data

要約

この論文では、シーンスケールで3Dデータを生成するための拡散モデルを学習します。
具体的には、私たちのモデルは複数のオブジェクトで構成される 3D シーンを作成しますが、最近の拡散研究は単一のオブジェクトに焦点を当てています。
目標を実現するために、複数のオブジェクトをセマンティック カテゴリに割り当てるために、個別のクラス ラベル、つまりカテゴリ分布でシーンを表現します。
したがって、離散拡散モデルを拡張して、シーン スケールのカテゴリ分布を学習します。
さらに、潜在拡散モデルがトレーニングと展開の計算コストを削減できることを検証します。
私たちの知る限りでは、私たちの研究は、シーン スケールで 3D カテゴリ データに離散拡散と潜在拡散を適用した最初の研究です。
さらに、拡散モデルを使用して条件付き分布を学習することにより、セマンティック シーン コンプリーション (SSC) を実行することを提案します。ここで、条件はまばらな点群での部分観測です。
実験では、私たちの拡散モデルが合理的なシーンを生成するだけでなく、識別モデルよりも優れたシーン完成タスクを実行することを経験的に示しています。
私たちのコードとモデルは、https://github.com/zoomin-lee/scene-scale-diffusion で入手できます。

要約(オリジナル)

In this paper, we learn a diffusion model to generate 3D data on a scene-scale. Specifically, our model crafts a 3D scene consisting of multiple objects, while recent diffusion research has focused on a single object. To realize our goal, we represent a scene with discrete class labels, i.e., categorical distribution, to assign multiple objects into semantic categories. Thus, we extend discrete diffusion models to learn scene-scale categorical distributions. In addition, we validate that a latent diffusion model can reduce computation costs for training and deploying. To the best of our knowledge, our work is the first to apply discrete and latent diffusion for 3D categorical data on a scene-scale. We further propose to perform semantic scene completion (SSC) by learning a conditional distribution using our diffusion model, where the condition is a partial observation in a sparse point cloud. In experiments, we empirically show that our diffusion models not only generate reasonable scenes, but also perform the scene completion task better than a discriminative model. Our code and models are available at https://github.com/zoomin-lee/scene-scale-diffusion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google