A Spatio-temporal Aligned SUNet Model for Low-light Video Enhancement

要約

低照度条件によって生じる歪みは、視覚的に不快であるだけでなく、コンピュータ ビジョン タスクのパフォーマンスも低下させます。
修復と強化は非常に有益であることが証明されています。
ただし、低照度条件で取得されたビデオ用に明示的に設計された強化方法は限られた数しかありません。
我々は、Swin Transformer をバックボーンとして使用し、低照度ビデオの特徴をキャプチャし、それらの時空間相関を利用する時空間整合 SUNet (STA-SUNet) モデルを提案します。
STA-SUNet モデルは、さまざまな光条件下で撮影された動的なシーンで構成される、新規の完全に登録されたデータセット (BVI) でトレーニングされます。
さらに、3 つのテスト データセットにわたって他のさまざまなモデルと比較して分析されます。
このモデルは、すべてのデータセットにわたって優れた適応性を示し、最高の PSNR および SSIM 値を取得します。
これは、極度の低照度条件で特に効果的であり、かなり良好な視覚化結果が得られます。

要約(オリジナル)

Distortions caused by low-light conditions are not only visually unpleasant but also degrade the performance of computer vision tasks. The restoration and enhancement have proven to be highly beneficial. However, there are only a limited number of enhancement methods explicitly designed for videos acquired in low-light conditions. We propose a Spatio-Temporal Aligned SUNet (STA-SUNet) model using a Swin Transformer as a backbone to capture low light video features and exploit their spatio-temporal correlations. The STA-SUNet model is trained on a novel, fully registered dataset (BVI), which comprises dynamic scenes captured under varying light conditions. It is further analysed comparatively against various other models over three test datasets. The model demonstrates superior adaptivity across all datasets, obtaining the highest PSNR and SSIM values. It is particularly effective in extreme low-light conditions, yielding fairly good visualisation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google