Low-Light Video Enhancement with Synthetic Event Guidance

要約

ローライト ビデオ エンハンスメント (LLVE) は、写真撮影や自動運転などの多くのアプリケーションで重要かつ困難なタスクです。
単一画像の低照度補正とは異なり、ほとんどの LLVE メソッドは、隣接するフレームからの時間情報を利用して、色を復元し、ターゲット フレームのノイズを除去します。
ただし、これらのアルゴリズムは、マルチフレームの位置合わせと強化のフレームワークに基づいており、極端に暗い場所や速い動きに遭遇すると、マルチフレームのフュージョン アーティファクトが生成される場合があります。
このホワイト ペーパーでは、イベントの低レイテンシと高ダイナミック レンジに着想を得て、複数のフレームからの合成イベントを使用して、低照度ビデオの強化と復元をガイドします。
この方法には、1) イベントの合成と強化、2) イベントと画像の融合、3) 低照度の強化の 3 つの段階があります。
このフレームワークでは、第 2 段階と第 3 段階の 2 つの新しいモジュール (イベント画像融合変換とイベント ガイド付きデュアル ブランチ) をそれぞれ設計します。
広範な実験により、合成および実際のLLVEデータセットの両方で、既存の低照度ビデオまたは単一画像強調アプローチよりも優れていることが示されています。

要約(オリジナル)

Low-light video enhancement (LLVE) is an important yet challenging task with many applications such as photographing and autonomous driving. Unlike single image low-light enhancement, most LLVE methods utilize temporal information from adjacent frames to restore the color and remove the noise of the target frame. However, these algorithms, based on the framework of multi-frame alignment and enhancement, may produce multi-frame fusion artifacts when encountering extreme low light or fast motion. In this paper, inspired by the low latency and high dynamic range of events, we use synthetic events from multiple frames to guide the enhancement and restoration of low-light videos. Our method contains three stages: 1) event synthesis and enhancement, 2) event and image fusion, and 3) low-light enhancement. In this framework, we design two novel modules (event-image fusion transform and event-guided dual branch) for the second and third stages, respectively. Extensive experiments show that our method outperforms existing low-light video or single image enhancement approaches on both synthetic and real LLVE datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google