Collaborative Control for Geometry-Conditioned PBR Image Generation

要約

グラフィックス パイプラインには物理ベース レンダリング (PBR) マテリアルが必要ですが、現在の 3D コンテンツ生成アプローチは RGB モデルに基づいて構築されています。
我々は、RGB 生成における測光の不正確さと、RGB から PBR を抽出する際の固有のあいまいさを回避して、PBR 画像分布を直接モデル化することを提案します。
クロスモーダル微調整の既存のパラダイムは、データ不足と出力モダリティの高次元性の両方により PBR 生成には適していないため、次を使用してフリーズされた RGB モデルに密接にリンクされた新しい PBR モデルをトレーニングすることを提案します。
新しいクロスネットワーク通信パラダイム。
基本の RGB モデルが完全にフリーズされているため、提案された方法はその一般的なパフォーマンスを維持し、たとえば
その基本モデルの IP アダプター。

要約(オリジナル)

Graphics pipelines require physically-based rendering (PBR) materials, yet current 3D content generation approaches are built on RGB models. We propose to model the PBR image distribution directly, avoiding photometric inaccuracies in RGB generation and the inherent ambiguity in extracting PBR from RGB. As existing paradigms for cross-modal fine-tuning are not suited for PBR generation due to both a lack of data and the high dimensionality of the output modalities, we propose to train a new PBR model that is tightly linked to a frozen RGB model using a novel cross-network communication paradigm. As the base RGB model is fully frozen, the proposed method retains its general performance and remains compatible with e.g. IPAdapters for that base model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google