Intrinsic Image Decomposition via Ordinal Shading

要約

固有の分解は、さまざまな逆レンダリングやコンピューテーショナル フォトグラフィーのパイプラインで重要な役割を果たす基本的な中レベルの視覚問題です。
高精度の固有分解の生成は本質的に制約が少ないタスクであり、連続値のシェーディングとアルベドを正確に推定する必要があります。
この研究では、問題を 2 つの部分に分割することで、高解像度の固有分解を実現します。
まず、固有モデルに従う予測を制限することなく順序シェーディング キューを推定するために、シフト不変損失とスケール不変損失を使用した密な順序シェーディング定式化を提示します。
次に、2 番目のネットワークを使用して低解像度と高解像度の順序推定を組み合わせて、グローバル コヒーレンスとローカル詳細の両方を備えたシェーディング推定を生成します。
推定シェーディングの損失と、固有モデルによって暗示されるアルベドを計算することで、モデルが正確な分解を学習することをお勧めします。
私たちは、モデルの予測と複数照明データを使用して高密度の擬似グラウンド トゥルースを生成する簡単な方法を開発し、自然界の画像への一般化を可能にします。
予測された固有コンポーネントを最先端の手法と比較して徹底的に定性的および定量的に分析します。
最後に、色変更や再照明などの困難な編集タスクを実行することにより、推定が現実世界に適用可能であることを実証します。

要約(オリジナル)

Intrinsic decomposition is a fundamental mid-level vision problem that plays a crucial role in various inverse rendering and computational photography pipelines. Generating highly accurate intrinsic decompositions is an inherently under-constrained task that requires precisely estimating continuous-valued shading and albedo. In this work, we achieve high-resolution intrinsic decomposition by breaking the problem into two parts. First, we present a dense ordinal shading formulation using a shift- and scale-invariant loss in order to estimate ordinal shading cues without restricting the predictions to obey the intrinsic model. We then combine low- and high-resolution ordinal estimations using a second network to generate a shading estimate with both global coherency and local details. We encourage the model to learn an accurate decomposition by computing losses on the estimated shading as well as the albedo implied by the intrinsic model. We develop a straightforward method for generating dense pseudo ground truth using our model’s predictions and multi-illumination data, enabling generalization to in-the-wild imagery. We present an exhaustive qualitative and quantitative analysis of our predicted intrinsic components against state-of-the-art methods. Finally, we demonstrate the real-world applicability of our estimations by performing otherwise difficult editing tasks such as recoloring and relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google