DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

要約

三角メッシュは、効率的な操作とレンダリングのために、3Dアプリケーションで重要な役割を果たします。
自動再帰的方法は、離散頂点トークンを予測することにより構造化されたメッシュを生成しますが、しばしば、限られた顔数とメッシュの不完全性によって制約されます。
これらの課題に対処するために、2つの重要なイノベーションを通じてメッシュ生成を最適化するフレームワークであるDeepMeshを提案します。（1）データキュレーションと処理の改善と（2）補強学習（RL）の導入（RL）が3D Mesh世代への導入（DPO）を介して人間のプレイヤー化を達成するための導入（DPO）を達成することを提案します。
人間の評価と3Dメトリックを組み合わせてDPOの優先ペアを収集するスコアリング基準を設計し、視覚的魅力と幾何学的精度の両方を確保します。
ポイントクラウドと画像に条件付けられたDeepMeshは、複雑な詳細と正確なトポロジを備えたメッシュを生成し、精度と品質の両方で最先端の方法を上回ります。
プロジェクトページ：https：//zhaorw02.github.io/deepmesh/

要約(オリジナル)

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google