SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

要約

開いた表面や複雑なインテリアなど、任意のトポロジを備えた高忠実度の3Dメッシュを作成することは、依然として重要な課題です。
既存の暗黙的なフィールド方法は、多くの場合、コストがかかり、詳細に分解される水密変換を必要としますが、他のアプローチは高解像度で苦労しています。
このペーパーでは、レンダリング損失から直接最大1024^3 $の解像度で微分可能なメッシュ再構成を可能にする、新しいまばらな構造化された等骨格表現であるSparseflexを紹介します。
Sparseflexは、屈曲部の精度をまばらなボクセル構造と組み合わせ、表面隣接領域に計算を集中させ、オープンサーフェスの効率的な取り扱いを行います。
重要なことに、レンダリング中に関連するボクセルのみをアクティブにし、メモリ消費を劇的に削減し、高解像度トレーニングを可能にするフラストムを意識したセクションボクセルトレーニング戦略を導入します。
これにより、監督のみを使用してメッシュインテリアの再構築が初めて可能になります。
これに基づいて、高品質の3D形状生成のための変分自動エンコーダー（VAE）と修正フロートランスをトレーニングすることにより、完全な形状モデリングパイプラインを実証します。
私たちの実験は、最先端の再構築精度を示しており、面取り距離が約82％減少し、以前の方法と比較してFスコアが約88％増加し、任意のトポロジを伴う高解像度の詳細な3D形状の生成を示しています。
レンダリング損失を伴う高解像度の微分可能なメッシュ再構成と生成を可能にすることにより、スパースフレックスは、3D形状の表現とモデリングで最先端の最先端を大幅に進めます。

要約(オリジナル)

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to $1024^3$ directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google