3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes

要約

AutoreGressive（AR）モデルは、自然言語とイメージ生成で顕著な成功を収めていますが、3D形状モデリングへの適用はほとんど未踏のままです。
拡散モデルとは異なり、ARモデルは、より速い推論時間を備えたより効率的で制御可能な生成を可能にし、データ集約型ドメインに特に適しています。
ARアプローチを使用した従来の3D生成モデルは、多くの場合、ボクセルまたはポイントレベルで「次のトークン」予測に依存しています。
特定のアプリケーションには効果的ですが、これらの方法は、大規模な3Dデータを扱うときに制限的で計算上の高価になります。
これらの課題に取り組むために、無条件の形状生成を実行できる3D暗黙の距離フィールドのARモデルである3D-WAGを導入します。
私たちの重要なアイデアは、形状をマルチスケールのウェーブレットトークンマップとしてエンコードし、変圧器を使用して「次の高解像度トークンマップ」を自己回帰的に予測することです。
3D AR生成タスクを「次のスケール」予測として再定義することにより、従来の「次のトークン」予測モデルと比較して生成の計算コストを削減し、3D形状の本質的な幾何学的詳細をより構造化された階層的な方法で維持します。
3D-WAGを評価して、広く使用されているベンチマークの最先端の方法と定量的および定性的な比較により、その利点を紹介します。
私たちの結果は、3DワグがカバレッジやMMDなどの主要なメトリックで優れたパフォーマンスを達成し、実際のデータ分布に密接に一致する高忠実度の3D形状を生成することを示しています。

要約(オリジナル)

Autoregressive (AR) models have achieved remarkable success in natural language and image generation, but their application to 3D shape modeling remains largely unexplored. Unlike diffusion models, AR models enable more efficient and controllable generation with faster inference times, making them especially suitable for data-intensive domains. Traditional 3D generative models using AR approaches often rely on “next-token’ predictions at the voxel or point level. While effective for certain applications, these methods can be restrictive and computationally expensive when dealing with large-scale 3D data. To tackle these challenges, we introduce 3D-WAG, an AR model for 3D implicit distance fields that can perform unconditional shape generation, class-conditioned and also text-conditioned shape generation. Our key idea is to encode shapes as multi-scale wavelet token maps and use a Transformer to predict the “next higher-resolution token map’ in an autoregressive manner. By redefining 3D AR generation task as “next-scale’ prediction, we reduce the computational cost of generation compared to traditional “next-token’ prediction models, while preserving essential geometric details of 3D shapes in a more structured and hierarchical manner. We evaluate 3D-WAG to showcase its benefit by quantitative and qualitative comparisons with state-of-the-art methods on widely used benchmarks. Our results show 3D-WAG achieves superior performance in key metrics like Coverage and MMD, generating high-fidelity 3D shapes that closely match the real data distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google