Personalized Video Relighting Using Casual Light Stage

要約

この論文では、あらゆるポーズ、表情、照明条件下で、高品質で時間的に一貫した再照明ビデオをリアルタイムで生成する、パーソナライズされたビデオ再照明アルゴリズムを開発します。
既存の再照明アルゴリズムは通常、再照明結果が不十分な公的に入手可能な合成データに依存するか、代わりにアクセスできず公的に利用できない Light Stage データに依存します。
モニターで YouTube 動画を見ているユーザーのビデオを何気なくキャプチャすることで、どのような条件下でも高品質の再照明を生成できるパーソナライズされたアルゴリズムをトレーニングできることを示します。
私たちの主な貢献は、本質的な外観特徴であるジオメトリと反射率をソース照明から効果的に分離し、それをターゲット照明と組み合わせて再照明画像を生成する新しいニューラル再照明アーキテクチャです。
このニューラル アーキテクチャにより、固有の外観特徴の平滑化が可能になり、時間的に安定したビデオの再照明が可能になります。
定性的評価と定量的評価の両方で、当社の再照明アーキテクチャが、カジュアルにキャプチャされた Light Stage at Your Desk (LSYD) データと、一度に 1 つずつキャプチャされた Light Stage の両方で、最先端のアプローチよりもポートレート画像の再照明の品質と時間的一貫性が向上していることが示されています (
OLAT) データセット。

要約(オリジナル)

In this paper, we develop a personalized video relighting algorithm that produces high-quality and temporally consistent relit video under any pose, expression, and lighting conditions in real-time. Existing relighting algorithms typically rely either on publicly available synthetic data, which yields poor relighting results, or instead on Light Stage data which is inaccessible and is not publicly available. We show that by casually capturing video of a user watching YouTube videos on a monitor we can train a personalized algorithm capable of producing high-quality relighting under any condition. Our key contribution is a novel neural relighting architecture that effectively separates the intrinsic appearance features, geometry and reflectance, from the source lighting and then combines it with the target lighting to generate a relit image. This neural architecture enables smoothing of intrinsic appearance features leading to temporally stable video relighting. Both qualitative and quantitative evaluations show that our relighting architecture improves portrait image relighting quality and temporal consistency over state-of-the-art approaches on both casually captured Light Stage at Your Desk (LSYD) data and Light Stage captured One Light At a Time (OLAT) datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google