Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition

要約

Low-Light Video Enhancement (LLVE) は、深刻な不可視性とノイズに悩まされている動的および静的なシーンを復元することを目的としています。
重要な側面の 1 つは、特に時間空間照明および外観強化バージョン向けの一貫性制約を定式化することであり、これは既存の方法では見落とされている側面です。
この論文では、照明と反射率のコンポーネントを描写するための明示的な監視を必要とせずに動作する、革新的なビデオ Retinex ベースの分解戦略を紹介します。
本質的な外観のために動的なクロスフレーム対応を活用し、照明フィールドにシーンレベルの連続性制約を適用して、満足のいく一貫した分解結果を生成します。
一貫した分解をさらに確実にするために、新しいフレーム間相互作用メカニズムを特徴とする二重構造拡張ネットワークを導入します。
このメカニズムは、エンコーダ/デコーダの単一フレーム ネットワークとシームレスに統合でき、追加のパラメータ コストは最小限に抑えられます。
このネットワークは、異なるフレームを同時に監視することにより、それらが一致する分解特徴を示すことを促進し、それによって望ましい時間的伝播を実現します。
広く知られている LLVE ベンチマークに対して広範な実験が行われ、さまざまなシナリオがカバーされています。
私たちのフレームワークは常に既存の手法を上回り、新しい最先端 (SOTA) パフォーマンスを確立します。

要約(オリジナル)

Low-Light Video Enhancement (LLVE) seeks to restore dynamic and static scenes plagued by severe invisibility and noise. One critical aspect is formulating a consistency constraint specifically for temporal-spatial illumination and appearance enhanced versions, a dimension overlooked in existing methods. In this paper, we present an innovative video Retinex-based decomposition strategy that operates without the need for explicit supervision to delineate illumination and reflectance components. We leverage dynamic cross-frame correspondences for intrinsic appearance and enforce a scene-level continuity constraint on the illumination field to yield satisfactory consistent decomposition results. To further ensure consistent decomposition, we introduce a dual-structure enhancement network featuring a novel cross-frame interaction mechanism. This mechanism can seamlessly integrate with encoder-decoder single-frame networks, incurring minimal additional parameter costs. By supervising different frames simultaneously, this network encourages them to exhibit matching decomposition features, thus achieving the desired temporal propagation. Extensive experiments are conducted on widely recognized LLVE benchmarks, covering diverse scenarios. Our framework consistently outperforms existing methods, establishing a new state-of-the-art (SOTA) performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google