MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

要約

最近では、再構築と生成によって作成された 3D アセットが手動で作成されたアセットの品質と同等になり、置き換えの可能性が強調されています。
ただし、これらのアセットは常に 3D 産業アプリケーション用のメッシュに変換する必要があり、現在のメッシュ抽出方法で生成されたメッシュはアーティスト作成メッシュ (AM)、つまり人間のアーティストによって作成されたメッシュよりも大幅に劣るため、この可能性はほとんど実現されていません。
。
具体的には、現在のメッシュ抽出方法は密な面に依存し、幾何学的特徴を無視しているため、非効率性、複雑な後処理、および表現品質の低下につながります。
これらの問題に対処するために、メッシュ抽出を生成問題として扱い、指定された形状に揃えられた AM を生成するモデルである MeshAnything を導入します。
あらゆる 3D 表現の 3D アセットを AM に変換することで、MeshAnything をさまざまな 3D アセット制作方法と統合でき、それによって 3D 業界全体でのアプリケーションを強化できます。
MeshAnything のアーキテクチャは、VQ-VAE と形状条件付きデコーダー専用トランスフォーマーで構成されます。
まず、VQ-VAE を使用してメッシュ ボキャブラリを学習し、次に、形状条件付き自己回帰メッシュ生成のために、このボキャブラリに基づいて形状条件付きデコーダ専用トランスフォーマーをトレーニングします。
私たちの広範な実験により、私たちの方法が数百倍も少ない顔を持つ AM を生成し、ストレージ、レンダリング、シミュレーションの効率が大幅に向上し、同時に以前の方法に匹敵する精度を達成できることが示されました。

要約(オリジナル)

Recently, 3D assets created via reconstruction and generation have matched the quality of manually crafted assets, highlighting their potential for replacement. However, this potential is largely unrealized because these assets always need to be converted to meshes for 3D industry applications, and the meshes produced by current mesh extraction methods are significantly inferior to Artist-Created Meshes (AMs), i.e., meshes created by human artists. Specifically, current mesh extraction methods rely on dense faces and ignore geometric features, leading to inefficiencies, complicated post-processing, and lower representation quality. To address these issues, we introduce MeshAnything, a model that treats mesh extraction as a generation problem, producing AMs aligned with specified shapes. By converting 3D assets in any 3D representation into AMs, MeshAnything can be integrated with various 3D asset production methods, thereby enhancing their application across the 3D industry. The architecture of MeshAnything comprises a VQ-VAE and a shape-conditioned decoder-only transformer. We first learn a mesh vocabulary using the VQ-VAE, then train the shape-conditioned decoder-only transformer on this vocabulary for shape-conditioned autoregressive mesh generation. Our extensive experiments show that our method generates AMs with hundreds of times fewer faces, significantly improving storage, rendering, and simulation efficiencies, while achieving precision comparable to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google