Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation

要約

高解像度のテクスチャ付き 3D アセットを生成するための高度な大規模 3D 合成システムである Hunyuan3D 2.0 を紹介します。
このシステムには、大規模な形状生成モデル — Hunyuan3D-DiT と大規模なテクスチャ合成モデル — Hunyuan3D-Paint という 2 つの基礎コンポーネントが含まれています。
スケーラブルなフローベースの拡散トランスに基づいて構築された形状生成モデルは、特定の条件イメージと適切に整合するジオメトリを作成し、下流アプリケーションのための強固な基盤を築くことを目的としています。
テクスチャ合成モデルは、強力な幾何学事前分布と拡散事前分布の恩恵を受けて、生成されたメッシュまたは手作りのメッシュに対して高解像度で鮮やかなテクスチャ マップを生成します。
さらに、3D アセットの再作成プロセスを簡素化する、多用途でユーザーフレンドリーな制作プラットフォームである Hunyuan3D-Studio を構築します。
これにより、プロとアマチュアの両方のユーザーがメッシュを効率的に操作したり、アニメートしたりすることができます。
私たちはモデルを体系的に評価し、Hunyuan3D 2.0 が、ジオメトリの詳細、条件の調整、テクスチャの品質などにおいて、オープンソース モデルやクローズドソース モデルを含む以前の最先端のモデルよりも優れていることを示しています。Hunyuan3D 2.0 は一般公開されています。
大規模な基礎生成モデルに関するオープンソース 3D コミュニティのギャップを埋めるために。
モデルのコードと事前トレーニングされた重みは、https://github.com/Tencent/Hunyuan3D-2 で入手できます。

要約(オリジナル)

We present Hunyuan3D 2.0, an advanced large-scale 3D synthesis system for generating high-resolution textured 3D assets. This system includes two foundation components: a large-scale shape generation model — Hunyuan3D-DiT, and a large-scale texture synthesis model — Hunyuan3D-Paint. The shape generative model, built on a scalable flow-based diffusion transformer, aims to create geometry that properly aligns with a given condition image, laying a solid foundation for downstream applications. The texture synthesis model, benefiting from strong geometric and diffusion priors, produces high-resolution and vibrant texture maps for either generated or hand-crafted meshes. Furthermore, we build Hunyuan3D-Studio — a versatile, user-friendly production platform that simplifies the re-creation process of 3D assets. It allows both professional and amateur users to manipulate or even animate their meshes efficiently. We systematically evaluate our models, showing that Hunyuan3D 2.0 outperforms previous state-of-the-art models, including the open-source models and closed-source models in geometry details, condition alignment, texture quality, and etc. Hunyuan3D 2.0 is publicly released in order to fill the gaps in the open-source 3D community for large-scale foundation generative models. The code and pre-trained weights of our models are available at: https://github.com/Tencent/Hunyuan3D-2

arxiv情報

提供元, 利用サービス

arxiv.jp, Google