Meta 3D AssetGen: Text-to-Mesh Generation with High-Quality Geometry, Texture, and PBR Materials

要約

テクスチャとマテリアルの制御を備えた忠実で高品質なメッシュを生成する、テキストから 3D への生成における大幅な進歩である Meta 3D AssetGen (AssetGen) を紹介します。
3D オブジェクトの外観にシェーディングをベイクする作業と比較して、AssetGen は物理ベース レンダリング (PBR) マテリアルを出力し、リアルな再ライティングをサポートします。
AssetGen は、ファクター化されたシェーディングおよびアルベドの外観チャネルを使用してオブジェクトの最初のいくつかのビューを生成し、次に効率的な監視のために遅延シェーディング損失を使用して、色、金属性、および粗さを 3D で再構築します。
また、符号距離関数を使用して 3D 形状をより確実に表現し、形状の直接監視に対応する損失を導入します。
これは、メモリ効率を高めるために融合カーネルを使用して実装されています。
メッシュ抽出後、UV 空間で動作するテクスチャリファインメント トランスフォーマーにより、シャープネスとディテールが大幅に向上します。
AssetGen は、少数ビュー再構成の最適な同時作業と比較して、面取り距離で 17%、LPIPS で 40% の向上を達成し、PBR をサポートする製品を含む、同等の速度の業界最高の競合他社と比較して、人間の好みで 72% の改善を達成しています。
生成されたアセットを含むプロジェクト ページ: https://assetgen.github.io

要約(オリジナル)

We present Meta 3D AssetGen (AssetGen), a significant advancement in text-to-3D generation which produces faithful, high-quality meshes with texture and material control. Compared to works that bake shading in the 3D object’s appearance, AssetGen outputs physically-based rendering (PBR) materials, supporting realistic relighting. AssetGen generates first several views of the object with factored shaded and albedo appearance channels, and then reconstructs colours, metalness and roughness in 3D, using a deferred shading loss for efficient supervision. It also uses a sign-distance function to represent 3D shape more reliably and introduces a corresponding loss for direct shape supervision. This is implemented using fused kernels for high memory efficiency. After mesh extraction, a texture refinement transformer operating in UV space significantly improves sharpness and details. AssetGen achieves 17% improvement in Chamfer Distance and 40% in LPIPS over the best concurrent work for few-view reconstruction, and a human preference of 72% over the best industry competitors of comparable speed, including those that support PBR. Project page with generated assets: https://assetgen.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google