Tree-Structured Shading Decomposition

要約

オブジェクトのシェーディングのために単一の画像からツリー構造の表現を推測することを研究します。
従来の研究では、通常、パラメトリック表現または測定表現を使用してシェーディングをモデル化していましたが、これは解釈可能でも簡単に編集可能でもありませんでした。
我々は、基本的なシェーディング ノードと合成方法を組み合わせてオブジェクト表面のシェーディングを因数分解するシェード ツリー表現の使用を提案します。
シェード ツリー表現を使用すると、物理シェーディング プロセスに慣れていない初心者ユーザーでも、効率的かつ直感的な方法でオブジェクト シェーディングを編集できます。
シェード ツリーを推論する際の主な課題は、推論問題に離散ツリー構造とツリー ノードの連続パラメータの両方が含まれることです。
この問題に対処するために、ハイブリッド アプローチを提案します。
自己回帰推論モデルを導入してツリー構造とノード パラメーターの大まかな推定を生成し、最適化アルゴリズムを通じて推論されたシェード ツリーを微調整します。
合成画像、キャプチャされた反射率、実際の画像、および非現実的なベクトル描画に関する実験を示し、マテリアル編集、ベクトル化されたシェーディング、再ライティングなどの下流アプリケーションを可能にします。
プロジェクトウェブサイト: https://chen-geng.com/inv-shade-trees

要約(オリジナル)

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

arxiv情報

提供元, 利用サービス

arxiv.jp, Google