Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset

要約

結果は光選挙的で一時的に安定している必要があるため、ビデオのポートレートの再視力は依然として挑戦的です。
これには、通常、複雑な顔の反射をキャプチャできる強力なモデル設計と、ダイナミックな1ライト（OLAT）などの高品質のペアのビデオデータセットでの集中トレーニングが必要です。
この作業では、光リアリスティックと一時的に一貫した照明効果の両方を生成する新しいポートレートビデオ再生方法であるLux Post Factoを紹介します。
モデル側から、正確な制御を可能にする新しい照明注入メカニズムとともに、最先端の事前訓練を受けたビデオ拡散モデルに基づいて構築された新しい条件付きビデオ拡散モデルを設計します。
このようにして、強力な空間的および時間的生成能力を活用して、不適切な再視力問題に対してもっともらしいソリューションを生成します。
この手法では、静的な式OLATデータと野生のポートレートパフォーマンスビデオで構成されるハイブリッドデータセットを使用して、学習と時間モデリングを共同で学習します。
これにより、さまざまな照明条件でペアのビデオデータを取得する必要性が回避されます。
私たちの広範な実験は、私たちのモデルが光リアリズムと時間的一貫性の両方の観点から最新の結果を生み出すことを示しています。

要約(オリジナル)

Video portrait relighting remains challenging because the results need to be both photorealistic and temporally stable. This typically requires a strong model design that can capture complex facial reflections as well as intensive training on a high-quality paired video dataset, such as dynamic one-light-at-a-time (OLAT). In this work, we introduce Lux Post Facto, a novel portrait video relighting method that produces both photorealistic and temporally consistent lighting effects. From the model side, we design a new conditional video diffusion model built upon state-of-the-art pre-trained video diffusion model, alongside a new lighting injection mechanism to enable precise control. This way we leverage strong spatial and temporal generative capability to generate plausible solutions to the ill-posed relighting problem. Our technique uses a hybrid dataset consisting of static expression OLAT data and in-the-wild portrait performance videos to jointly learn relighting and temporal modeling. This avoids the need to acquire paired video data in different lighting conditions. Our extensive experiments show that our model produces state-of-the-art results both in terms of photorealism and temporal consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google