MatCLIP: Light- and Shape-Insensitive Assignment of PBR Material Models

要約

3Dモデルに現実的な資料を割り当てることは、コンピューターグラフィックスの重要な課題のままです。
MATCLIPを提案します。MATCLIPは、物理ベースのレンダリング（PBR）材料の形状および照明に敏感な記述子を抽出し、潜在的な拡散モデル（LDM）や写真の出力などの画像に基づいてもっともらしいテクスチャを割り当てるための新しい方法を抽出します。
PBR表現は、さまざまな視聴角、形状、照明条件の下で材料の動的な外観をキャプチャするため、PBR材料を静的画像に一致させることは困難です。
多様な形状と照明全体にわたる材料レンダリングに関するアルファクリップベースのモデルを拡張し、PBR材料の複数の視聴条件をエンコードすることにより、私たちのアプローチは、LDM出力を含む写真またはレンダリングでPBR表現のドメインを橋渡しする記述子を生成します。
これにより、オブジェクトの異なる部分間の物質的な関係に関する明示的な知識を必要とせずに、一貫した物質的割り当てが可能になります。
MATCLIPは、76.6％のTOP-1分類精度を実現し、PhotoshapeやMatatlasなどの最先端の方法を、公開されたデータセットで15パーセントポイント以上上回ります。
私たちの方法は、Shapenet、3DCompat ++、Objaverseなどの3D形状データセットの材料割り当てを構築するために使用できます。
すべてのコードとデータがリリースされます。

要約(オリジナル)

Assigning realistic materials to 3D models remains a significant challenge in computer graphics. We propose MatCLIP, a novel method that extracts shape- and lighting-insensitive descriptors of Physically Based Rendering (PBR) materials to assign plausible textures to 3D objects based on images, such as the output of Latent Diffusion Models (LDMs) or photographs. Matching PBR materials to static images is challenging because the PBR representation captures the dynamic appearance of materials under varying viewing angles, shapes, and lighting conditions. By extending an Alpha-CLIP-based model on material renderings across diverse shapes and lighting, and encoding multiple viewing conditions for PBR materials, our approach generates descriptors that bridge the domains of PBR representations with photographs or renderings, including LDM outputs. This enables consistent material assignments without requiring explicit knowledge of material relationships between different parts of an object. MatCLIP achieves a top-1 classification accuracy of 76.6%, outperforming state-of-the-art methods such as PhotoShape and MatAtlas by over 15 percentage points on publicly available datasets. Our method can be used to construct material assignments for 3D shape datasets such as ShapeNet, 3DCoMPaT++, and Objaverse. All code and data will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google