MeshDiffusion: Score-based Generative 3D Mesh Modeling

要約

自動シーン生成や物理シミュレーションなどのさまざまなアプリケーションに役立つリアルな 3D 形状を生成するタスクを検討します。
ボクセルやポイント クラウドなどの他の 3D 表現と比較して、メッシュは実際にはより望ましいものです。その理由は、(1) リライティングとシミュレーションのために形状を簡単かつ任意に操作できるため、(2) 最新のグラフィックス パイプラインの能力を十分に活用できるためです。
ほとんどがメッシュ用に最適化されています。
メッシュを生成するための以前のスケーラブルな方法は、通常、次善の後処理に依存しており、きめの細かい幾何学的詳細なしで過度に滑らかまたはノイズの多い表面を生成する傾向があります。
これらの欠点を克服するために、メッシュのグラフ構造を利用し、シンプルでありながら非常に効果的なジェネレーティブ モデリング手法を使用して 3D メッシュを生成します。
具体的には、変形可能な四面体グリッドでメッシュを表現し、この直接パラメータ化で拡散モデルをトレーニングします。
複数の生成タスクに対するモデルの有効性を実証します。

要約(オリジナル)

We consider the task of generating realistic 3D shapes, which is useful for a variety of applications such as automatic scene generation and physical simulation. Compared to other 3D representations like voxels and point clouds, meshes are more desirable in practice, because (1) they enable easy and arbitrary manipulation of shapes for relighting and simulation, and (2) they can fully leverage the power of modern graphics pipelines which are mostly optimized for meshes. Previous scalable methods for generating meshes typically rely on sub-optimal post-processing, and they tend to produce overly-smooth or noisy surfaces without fine-grained geometric details. To overcome these shortcomings, we take advantage of the graph structure of meshes and use a simple yet very effective generative modeling method to generate 3D meshes. Specifically, we represent meshes with deformable tetrahedral grids, and then train a diffusion model on this direct parametrization. We demonstrate the effectiveness of our model on multiple generative tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google