Latent Intrinsics Emerge from Training to Relight

要約

画像の再照明は、ソース イメージのシーンが別の方法で照明された場合にどのように見えるかを示すタスクです。
逆グラフィックス スキームは、ジオメトリの明示的な表現と選択された組み込みのセットを回復し、その後、何らかの形式のレンダラーで再照明します。
ただし、逆グラフィックスのエラー制御は難しく、逆グラフィックス メソッドは、選択した組み込みの効果しか表現できません。
この論文では、完全にデータ駆動型の再ライティング方法について説明します。この方法では、組み込み関数とライティングがそれぞれ潜在変数として表されます。
私たちのアプローチは、標準的な指標で測定された実際のシーンの SOTA 再照明を生成します。
アルベドの例を使用せずに潜在組み込み関数からアルベドを回復できること、および回復されたアルベドが SOTA 手法と競合することを示します。

要約(オリジナル)

Image relighting is the task of showing what a scene from a source image would look like if illuminated differently. Inverse graphics schemes recover an explicit representation of geometry and a set of chosen intrinsics, then relight with some form of renderer. However error control for inverse graphics is difficult, and inverse graphics methods can represent only the effects of the chosen intrinsics. This paper describes a relighting method that is entirely data-driven, where intrinsics and lighting are each represented as latent variables. Our approach produces SOTA relightings of real scenes, as measured by standard metrics. We show that albedo can be recovered from our latent intrinsics without using any example albedos, and that the albedos recovered are competitive with SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google