SuperMat: Physically Consistent PBR Material Estimation at Interactive Rates

要約

画像から物理ベースのマテリアルをその構成プロパティに分解することは、特に計算効率と物理的一貫性の両方を維持する場合に依然として困難です。
最近の拡散ベースのアプローチは有望であることが示されていますが、複数のノイズ除去ステップと異なる材料特性に対する個別のモデルにより、かなりの計算オーバーヘッドに直面しています。
ワンステップ推論で高品質なマテリアル分解を実現するシングルステップフレームワークである SuperMat を紹介します。
これにより、アルベド、メタリック、ラフネス マップをミリ秒スケールの速度で分解しながら、知覚損失と再レンダリング損失を伴うエンドツーエンドのトレーニングが可能になります。
UV リファインメント ネットワークを通じてフレームワークを 3D オブジェクトまでさらに拡張し、効率を維持しながら視点間で一貫したマテリアル推定を可能にします。
実験では、SuperMat が画像あたりの推論時間を数秒からミリ秒に短縮しながら最先端の PBR マテリアル分解品質を達成し、3D オブジェクトの PBR マテリアル推定を約 3 秒で完了することが実証されています。
プロジェクト ページは https://hyj542682306.github.io/SuperMat/ にあります。

要約(オリジナル)

Decomposing physically-based materials from images into their constituent properties remains challenging, particularly when maintaining both computational efficiency and physical consistency. While recent diffusion-based approaches have shown promise, they face substantial computational overhead due to multiple denoising steps and separate models for different material properties. We present SuperMat, a single-step framework that achieves high-quality material decomposition with one-step inference. This enables end-to-end training with perceptual and re-render losses while decomposing albedo, metallic, and roughness maps at millisecond-scale speeds. We further extend our framework to 3D objects through a UV refinement network, enabling consistent material estimation across viewpoints while maintaining efficiency. Experiments demonstrate that SuperMat achieves state-of-the-art PBR material decomposition quality while reducing inference time from seconds to milliseconds per image, and completes PBR material estimation for 3D objects in approximately 3 seconds. The project page is at https://hyj542682306.github.io/SuperMat/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google