Geometry-aware Single-image Full-body Human Relighting

要約

単一画像の人間の再照明は、入力画像をアルベド、形状、および照明に分解することにより、新しい照明条件下で対象の人間を再照明することを目的としています。
もっともらしい再照明の結果を達成することはできますが、以前の方法では、アルベドと照明の絡み合いとハードシャドウの欠如の両方に悩まされており、リアリズムが大幅に低下します。
これらの2つの問題に取り組むために、従来のグラフィックスレンダリングとニューラルレンダリング技術の共同展開のために単一画像のジオメトリ再構成を活用する、ジオメトリを意識した単一画像の人間の再照明フレームワークを提案します。
脱照明については、UNetアーキテクチャの欠点を調査し、修正されたHRNetを提案して、アルベドと照明の間のより良い解きほぐしを実現します。
再照明については、高周波シャドウを明示的にモデル化するレイトレーシングベースのピクセル単位照明表現を導入し、レイトレーシングシェーディングマップからリアルなシャドウ（ハードキャストシャドウを含む）を復元する学習ベースのシェーディングリファインメントモジュールを提案します。
私たちのフレームワークは、厳しい照明条件下でキャストシャドウなどのフォトリアリスティックな高周波シャドウを生成することができます。
広範な実験は、提案された方法が合成画像と実像の両方で以前の方法よりも優れていることを示しています。

要約(オリジナル)

Single-image human relighting aims to relight a target human under new lighting conditions by decomposing the input image into albedo, shape and lighting. Although plausible relighting results can be achieved, previous methods suffer from both the entanglement between albedo and lighting and the lack of hard shadows, which significantly decrease the realism. To tackle these two problems, we propose a geometry-aware single-image human relighting framework that leverages single-image geometry reconstruction for joint deployment of traditional graphics rendering and neural rendering techniques. For the de-lighting, we explore the shortcomings of UNet architecture and propose a modified HRNet, achieving better disentanglement between albedo and lighting. For the relighting, we introduce a ray tracing-based per-pixel lighting representation that explicitly models high-frequency shadows and propose a learning-based shading refinement module to restore realistic shadows (including hard cast shadows) from the ray-traced shading maps. Our framework is able to generate photo-realistic high-frequency shadows such as cast shadows under challenging lighting conditions. Extensive experiments demonstrate that our proposed method outperforms previous methods on both synthetic and real images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google