SIGNet: Intrinsic Image Decomposition by a Semantic and Invariant Gradient Driven Network for Indoor Scenes

要約

固有のイメージ分解 (IID) は制約不足の問題です。
そのため、従来のアプローチでは、問題を制限するために手作りの事前作成を使用します。
ただし、複雑なシーンに対処する場合、これらの制約は制限されます。
深層学習ベースのアプローチは、データを通じてこれらの制約を暗黙的に学習しますが、データセットのバイアスに悩まされることがよくあります (考えられるすべてのイメージング条件を含めることができないため)。
この論文では、2つの組み合わせが提案されています。
セマンティクスや不変機能などのコンポーネント固有の事前確率を利用して、意味論的および物理的にもっともらしい反射率遷移を取得します。
これらの遷移は、反射率とシェーディング マップを分解するための暗黙的な均一性制約を使用してプログレッシブ CNN を操作するために使用されます。
提案された事前確率とプログレッシブ CNN の使用が IID パフォーマンスを向上させることを示すアブレーション研究が行われます。
提案されたデータセットと標準的な実世界の IIW データセットの両方での最先端のパフォーマンスは、提案された方法の有効性を示しています。
コードは https://github.com/Morpheus3000/SIGNet で入手できます

要約(オリジナル)

Intrinsic image decomposition (IID) is an under-constrained problem. Therefore, traditional approaches use hand crafted priors to constrain the problem. However, these constraints are limited when coping with complex scenes. Deep learning-based approaches learn these constraints implicitly through the data, but they often suffer from dataset biases (due to not being able to include all possible imaging conditions). In this paper, a combination of the two is proposed. Component specific priors like semantics and invariant features are exploited to obtain semantically and physically plausible reflectance transitions. These transitions are used to steer a progressive CNN with implicit homogeneity constraints to decompose reflectance and shading maps. An ablation study is conducted showing that the use of the proposed priors and progressive CNN increase the IID performance. State of the art performance on both our proposed dataset and the standard real-world IIW dataset shows the effectiveness of the proposed method. Code is made available at https://github.com/Morpheus3000/SIGNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google