Material Anything: Generating Materials for Any 3D Object via Diffusion

要約

私たちは、3D オブジェクト用の物理ベースのマテリアルを生成するように設計された、完全に自動化された統合拡散フレームワークであるマテリアル エニシングを紹介します。
複雑なパイプラインやケース固有の最適化に依存する既存の手法とは異なり、マテリアル エニシングは、さまざまな照明条件下のオブジェクトに適応できる堅牢なエンドツーエンドのソリューションを提供します。
私たちのアプローチは、安定性と素材の品質を向上させるために、トリプルヘッド アーキテクチャとレンダリング ロスで強化された事前トレーニング済みの画像拡散モデルを活用しています。
さらに、拡散モデル内の動的なスイッチャーとしてコンフィデンス マスクを導入し、さまざまな照明条件にわたってテクスチャ付きオブジェクトとテクスチャなしオブジェクトの両方を効果的に処理できるようにします。
これらの信頼性マスクと UV 空間マテリアル リファイナーに基づいた進歩的なマテリアル生成戦略を採用することで、当社のメソッドは一貫した UV 対応マテリアル出力を保証します。
広範な実験により、私たちのアプローチが幅広いオブジェクト カテゴリと照明条件にわたって既存の方法よりも優れていることが実証されました。

要約(オリジナル)

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google