3D Point Cloud Generation via Autoregressive Up-sampling

要約

3Dポイントクラウド生成向けの先駆的なオートレーフレフな生成モデルを紹介します。
Visual Autore-Gonisure Modeling（VAR）に触発され、Point Cloud Generationを自己回帰アップサンプリングプロセスとして概念化します。
これは、私たちの新しいモデルであるPointaruにつながります。これは、粗いスケールから微細なスケールまで3Dポイント雲を徐々に改良します。
Pointaruは2段階のトレーニングパラダイムに従います。まず、ポイントクラウドのマルチスケールの離散表現を学習し、次に次に次のスケール予測のために自動再生トランスを訓練します。
ポイントクラウドの固有の非秩序化された不規則な構造に対処するために、両方の段階に特殊なポイントベースのアップサンプリングネットワークモジュールを組み込み、第2段階で各スケールでデコードされたポイントクラウドに基づいて3D絶対位置エンコードを統合します。
私たちのモデルは、多様な実験設定にわたって生成品質とパラメーター効率の両方で最先端の（SOTA）拡散ベースのアプローチを上回り、3Dポイントクラウド生成における自己回帰法の新しいマイルストーンをマークします。
さらに、Pointaruは、部分的な3D形状を完成させ、アップサンプリングスパースポイントクラウドを完成させ、これらのタスクの既存の生成モデルを上回る際に、例外的なパフォーマンスを示しています。

要約(オリジナル)

We introduce a pioneering autoregressive generative model for 3D point cloud generation. Inspired by visual autoregressive modeling (VAR), we conceptualize point cloud generation as an autoregressive up-sampling process. This leads to our novel model, PointARU, which progressively refines 3D point clouds from coarse to fine scales. PointARU follows a two-stage training paradigm: first, it learns multi-scale discrete representations of point clouds, and then it trains an autoregressive transformer for next-scale prediction. To address the inherent unordered and irregular structure of point clouds, we incorporate specialized point-based up-sampling network modules in both stages and integrate 3D absolute positional encoding based on the decoded point cloud at each scale during the second stage. Our model surpasses state-of-the-art (SoTA) diffusion-based approaches in both generation quality and parameter efficiency across diverse experimental settings, marking a new milestone for autoregressive methods in 3D point cloud generation. Furthermore, PointARU demonstrates exceptional performance in completing partial 3D shapes and up-sampling sparse point clouds, outperforming existing generative models in these tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google