TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

要約

Treemeshgptを紹介します。Treemeshgptは、入力ポイントクラウドに沿った高品質の芸術的メッシュを生成するように設計された自動再生トランスを紹介します。
自己回帰変圧器の従来の次のトークン予測の代わりに、メッシュ内の面の三角形の隣接に基づいて構築される動的に成長しているツリー構造から次の入力トークンが取得される新しい自己回帰ツリーシーケンスを提案します。
シーケンスにより、メッシュは各ステップで最後の生成された三角形の面から局所的に拡張できるため、トレーニングの難易度が低下し、メッシュの品質が向上します。
私たちのアプローチは、2つのトークンを備えた各三角形の顔を表し、ナイーブな顔の象徴化と比較して約22％の圧縮率を達成します。
この効率的なトークン化により、私たちのモデルは、容量と忠実度の両方で以前の方法を上回り、強みクラウドコンディショニングを備えた非常に詳細な芸術メッシュを生成できます。
さらに、私たちの方法は、強力な通常の方向制約を備えたメッシュを生成し、以前の方法で一般的に遭遇する反転法線を最小限に抑えます。
私たちの実験は、Treemeshgptが洗練された詳細と通常の方向の一貫性を備えたメッシュ生成の品質を高めることを示しています。

要約(オリジナル)

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google