An Object is Worth 64×64 Pixels: Generating 3D Object via Image Diffusion

要約

「オブジェクト イメージ」と呼ばれる表現を通じて、UV マップを使用してリアルな 3D モデルを生成するための新しいアプローチを紹介します。
このアプローチでは、表面の形状、外観、パッチ構造を 64×64 ピクセルの画像内にカプセル化し、複雑な 3D 形状をより管理しやすい 2D 形式に効果的に変換します。
そうすることで、ポリゴン メッシュに固有の幾何学的不規則性と意味論的不規則性の両方の課題に対処します。
この方法により、拡散トランスフォーマーなどの画像生成モデルを 3D 形状生成に直接使用できるようになります。
ABO データセットで評価すると、パッチ構造を備えた生成された形状は、最近の 3D 生成モデルに匹敵する点群 FID を達成し、同時に PBR マテリアル生成を自然にサポートします。

要約(オリジナル)

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed ‘Object Images.’ This approach encapsulates surface geometry, appearance, and patch structures within a 64×64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google