Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

要約

大規模なデータセットと事前に訓練された拡散モデルによって駆動される画像の学習モデルの最近の進歩により、一貫した照明の賦課が可能になりました。
ただし、主に過剰なトレーニングコストと多様で高品質のビデオ再生データセットの不足のために、ビデオの再生はまだ遅れています。
フレームごとに画像の再照明モデルを簡単にアプリケーションすると、いくつかの問題が発生します。照明ソースの矛盾と再生外観の矛盾があり、生成されたビデオにちらつきができます。
この作業では、一時的にスムーズなビデオの学習を実現するためのトレーニングなしのアプローチであるLight-A-Videoを提案します。
イメージの再視力モデルから適応したLight-A-Videoは、照明の一貫性を高めるために2つの重要な手法を導入します。
まず、一貫した光の注意（CLA）モジュールを設計します。これにより、自己攻撃層内のクロスフレーム相互作用が強化され、バックグラウンド照明ソースの生成を安定させます。
第二に、光輸送の独立性の物理的原理を活用すると、ソースビデオの外観と再生外観の間に線形ブレンドを適用し、プログレッシブ光融合（PLF）戦略を使用して、照明でのスムーズな時間的遷移を確保します。
実験では、ライトA-A-Videoは、画質を維持しながら、再生ビデオの時間的一貫性を改善し、フレーム間のコヒーレントな照明遷移を確保することを示しています。
プロジェクトページ：https：//bujiazi.github.io/light-a-video.github.io/。

要約(オリジナル)

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video’s appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google