Sparc3D: Sparse Representation and Construction for High-Resolution 3D Shapes Modeling

要約

高忠実度の3Dオブジェクト合成は、メッシュデータの構造化されていない性質と密な体積グリッドの立方体の複雑さにより、2D画像生成よりも依然として困難なままです。
VAEを使用した既存の2段パイプラインを圧縮するメッシュ（2Dまたは3Dの監督を使用）に続いて、VAEで導入された非効率的な表現とモダリティミスマッチによって引き起こされる深刻な細部喪失に苦しむ。
SPARC3Dを導入します。これは、スパース変形可能なマーチングキューブ表現スパルキューブと新しいエンコーダーSPARCONV-VAEを組み合わせた統一されたフレームワークを紹介します。
Sparcubesは、生のメッシュを高解像度（$ 1024^3 $）の表面に変換し、署名された距離と変形場をまばらな立方体に散乱させ、微分可能な最適化を可能にします。
SPARCONV-VAEは、まばらな畳み込みネットワーク上に完全に構​​築された最初のモダリティ一貫性のある変動自動エンコーダーであり、潜在的な拡散を介した高解像度の生成モデリングに適した効率的かつほぼ失われた3D再構成を可能にします。
SPARC3Dは、オープンサーフェス、切断されたコンポーネント、複雑なジオメトリなど、挑戦的な入力で最先端の再構成の忠実度を達成します。
細粒の形状のディテールを保存し、トレーニングと推論コストを削減し、スケーラブルで高解像度の3D生成の潜在的な拡散モデルと自然に統合します。

要約(オリジナル)

High-fidelity 3D object synthesis remains significantly more challenging than 2D image generation due to the unstructured nature of mesh data and the cubic complexity of dense volumetric grids. Existing two-stage pipelines-compressing meshes with a VAE (using either 2D or 3D supervision), followed by latent diffusion sampling-often suffer from severe detail loss caused by inefficient representations and modality mismatches introduced in VAE. We introduce Sparc3D, a unified framework that combines a sparse deformable marching cubes representation Sparcubes with a novel encoder Sparconv-VAE. Sparcubes converts raw meshes into high-resolution ($1024^3$) surfaces with arbitrary topology by scattering signed distance and deformation fields onto a sparse cube, allowing differentiable optimization. Sparconv-VAE is the first modality-consistent variational autoencoder built entirely upon sparse convolutional networks, enabling efficient and near-lossless 3D reconstruction suitable for high-resolution generative modeling through latent diffusion. Sparc3D achieves state-of-the-art reconstruction fidelity on challenging inputs, including open surfaces, disconnected components, and intricate geometry. It preserves fine-grained shape details, reduces training and inference cost, and integrates naturally with latent diffusion models for scalable, high-resolution 3D generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google