Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale

要約

メッシュは 3D サーフェスの基本的な表現です。
ただし、高品質のメッシュの作成は多大な時間と 3D モデリングの専門知識を必要とする多大な労力を要する作業です。
繊細なオブジェクトを正確にモデリングするには $10^4$ を超える面が必要になることがよくありますが、アーティスト風のメッシュを生成する最近の試みは、$1.6$K の面と頂点座標の高度な離散化に限定されています。
したがって、リアルで複雑な 3D オブジェクトの高品質メッシュを作成するには、最大面数と頂点座標解像度の両方をスケーリングすることが重要です。
私たちは、1024 レベルの座標解像度で最大 64,000 の面を持つメッシュを生成できる新しい自己回帰メッシュ生成モデルである Meshtron を紹介します。現在の状態よりも面数が 1 桁多く、座標解像度が $8{\times}$ も高くなります。
-最先端のメソッド。
Meshtron のスケーラビリティは、(1) 砂時計ニューラル アーキテクチャ、(2) トランケート シーケンス トレーニング、(3) スライディング ウィンドウ推論、(4) メッシュ シーケンスの順序を強制する堅牢なサンプリング戦略という 4 つの主要なコンポーネントによって推進されます。
これにより、既存の作業よりもトレーニング メモリが $50{\%}$ 以上削減され、スループットが $2.5{\time}$ 高速になり、一貫性が向上します。
Meshtron は、前例のないレベルの解像度と忠実度で詳細で複雑な 3D オブジェクトのメッシュを生成し、プロのアーティストが作成したものに非常に似ており、アニメーション、ゲーム、仮想環境向けの詳細な 3D アセットをより現実的に生成する扉を開きます。

要約(オリジナル)

Meshes are fundamental representations of 3D surfaces. However, creating high-quality meshes is a labor-intensive task that requires significant time and expertise in 3D modeling. While a delicate object often requires over $10^4$ faces to be accurately modeled, recent attempts at generating artist-like meshes are limited to $1.6$K faces and heavy discretization of vertex coordinates. Hence, scaling both the maximum face count and vertex coordinate resolution is crucial to producing high-quality meshes of realistic, complex 3D objects. We present Meshtron, a novel autoregressive mesh generation model able to generate meshes with up to 64K faces at 1024-level coordinate resolution –over an order of magnitude higher face count and $8{\times}$ higher coordinate resolution than current state-of-the-art methods. Meshtron’s scalability is driven by four key components: (1) an hourglass neural architecture, (2) truncated sequence training, (3) sliding window inference, (4) a robust sampling strategy that enforces the order of mesh sequences. This results in over $50{\%}$ less training memory, $2.5{\times}$ faster throughput, and better consistency than existing works. Meshtron generates meshes of detailed, complex 3D objects at unprecedented levels of resolution and fidelity, closely resembling those created by professional artists, and opening the door to more realistic generation of detailed 3D assets for animation, gaming, and virtual environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google