Designing An Illumination-Aware Network for Deep Image Relighting

要約

照明は、スタイル、感情の表現、さらには画像の品質にさえ影響を与える写真の決定要因です。
実際には、満足のいく照明条件を作成または見つけるのは手間と時間がかかるため、後処理として画像の照明を操作する技術を開発することは非常に価値があります。
これまでの作品は、画像を再照明するための物理的な視点に基づいた技術を模索してきましたが、合理的な画像を生成するには、広範な監督と事前の知識が必要であり、これらの作品の一般化能力が制限されます。
対照的に、私たちは画像から画像への翻訳の視点を取り、従来の物理的な視点のアイデアを暗黙的にマージします。
この論文では、階層的サンプリングからのガイダンスに従って、単一の画像からシーンを高効率で段階的に再照明する照明認識ネットワーク（IAN）を紹介します。
さらに、Illumination-Aware Residual Block（IARB）は、物理レンダリングプロセスを概算し、さらに操作するために光源の正確な記述子を抽出するように設計されています。
また、深度情報が利用可能になったら、貴重なジオメトリおよび構造関連の表現を取得するための深度ガイドジオメトリエンコーダを紹介します。
実験結果は、我々の提案した方法が以前の最先端の方法よりも優れた定量的および定性的な再照明結果を生み出すことを示しています。
コードとモデルはhttps://github.com/NK-CS-ZZL/IANで公開されています。

要約(オリジナル)

Lighting is a determining factor in photography that affects the style, expression of emotion, and even quality of images. Creating or finding satisfying lighting conditions, in reality, is laborious and time-consuming, so it is of great value to develop a technology to manipulate illumination in an image as post-processing. Although previous works have explored techniques based on the physical viewpoint for relighting images, extensive supervisions and prior knowledge are necessary to generate reasonable images, restricting the generalization ability of these works. In contrast, we take the viewpoint of image-to-image translation and implicitly merge ideas of the conventional physical viewpoint. In this paper, we present an Illumination-Aware Network (IAN) which follows the guidance from hierarchical sampling to progressively relight a scene from a single image with high efficiency. In addition, an Illumination-Aware Residual Block (IARB) is designed to approximate the physical rendering process and to extract precise descriptors of light sources for further manipulations. We also introduce a depth-guided geometry encoder for acquiring valuable geometry- and structure-related representations once the depth information is available. Experimental results show that our proposed method produces better quantitative and qualitative relighting results than previous state-of-the-art methods. The code and models are publicly available on https://github.com/NK-CS-ZZL/IAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google