Efficient and Scalable Point Cloud Generation with Sparse Point-Voxel Diffusion Models

要約

我々は、高速な生成時間を維持しながら高品質で多様な 3D 形状を生成できる 3D 生成モデリング用の新しい点群 U-Net 拡散アーキテクチャを提案します。
私たちのネットワークはデュアル ブランチ アーキテクチャを採用しており、点の高解像度表現とまばらなボクセルの計算効率を組み合わせています。
当社の最速バリアントは、点群生成モデルを評価するための最も一般的なベンチマークである無条件形状生成において、すべての非拡散生成アプローチよりも優れたパフォーマンスを発揮します。一方、当社の最大のモデルは、ランタイムが約 70% で、拡散手法の中で最先端の結果を達成しています。
以前は最先端の PVD ​​でした。
無条件生成を超えて、ShapeNet のすべてのカテゴリでの条件付き生成を含む広範な評価を実行し、大規模なデータセットに対するモデルのスケーラビリティを実証します。また、ネットワークがより少ないタイムステップで高品質の点群を生成できるようにする暗黙的な生成により、生成時間をさらに短縮します。
。
最後に、点群の完成と超解像度におけるアーキテクチャのパフォーマンスを評価します。
私たちのモデルはあらゆるタスクにおいて優れており、点群生成モデリングのための最先端の普及 U-Net として確立されています。
コードは https://github.com/JohnRomanelis/SPVD.git で公開されています。

要約(オリジナル)

We propose a novel point cloud U-Net diffusion architecture for 3D generative modeling capable of generating high-quality and diverse 3D shapes while maintaining fast generation times. Our network employs a dual-branch architecture, combining the high-resolution representations of points with the computational efficiency of sparse voxels. Our fastest variant outperforms all non-diffusion generative approaches on unconditional shape generation, the most popular benchmark for evaluating point cloud generative models, while our largest model achieves state-of-the-art results among diffusion methods, with a runtime approximately 70% of the previously state-of-the-art PVD. Beyond unconditional generation, we perform extensive evaluations, including conditional generation on all categories of ShapeNet, demonstrating the scalability of our model to larger datasets, and implicit generation which allows our network to produce high quality point clouds on fewer timesteps, further decreasing the generation time. Finally, we evaluate the architecture’s performance in point cloud completion and super-resolution. Our model excels in all tasks, establishing it as a state-of-the-art diffusion U-Net for point cloud generative modeling. The code is publicly available at https://github.com/JohnRomanelis/SPVD.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google