VJT: A Video Transformer on Joint Tasks of Deblurring, Low-light Enhancement and Denoising

要約

ビデオ復元タスクは、低品質の観察から高品質のビデオを復元することを目的としています。
ビデオはぼやけ、低光量、ノイズなどのさまざまな種類の劣化に直面することが多いため、これには、ビデオのノイズ除去、ブレ除去、低光量補正などのさまざまな重要なサブタスクが含まれています。
さらに悪いことに、極端な環境でビデオを撮影すると、この種の劣化が同時に発生する可能性があります。
これらのアーティファクトを同時に削除したい場合、これは重大な課題を引き起こします。
この論文では、私たちの知る限り、ビデオのブレ除去、低照度補正、およびノイズ除去の共同タスクのための効率的なエンドツーエンドのビデオ トランスフォーマー アプローチを初めて提案しました。
この研究では、ビデオの特徴を効果的に学習するために、各層が異なるレベルの劣化ビデオをターゲットとして使用する新しい多層トランスフォーマーを構築します。
さらに、ビデオの特徴を段階的に学習し、適切な適応重み付けスキームを使用してトレーニング プロセスを加速するために、新しい階層間の特徴融合スキームを慎重に設計しています。
また、新しい Multiscene-Lowlight-Blur-Noise (MLBN) データセットも提供します。これは、RealBlur データセットと YouTube ビデオに基づいて共同タスクの特性に従って生成され、可能な限り現実的なシーンをシミュレートします。
私たちは、これまでの多くの最先端の方法と比較して広範な実験を実施し、私たちのアプローチの有効性を明確に示しました。

要約(オリジナル)

Video restoration task aims to recover high-quality videos from low-quality observations. This contains various important sub-tasks, such as video denoising, deblurring and low-light enhancement, since video often faces different types of degradation, such as blur, low light, and noise. Even worse, these kinds of degradation could happen simultaneously when taking videos in extreme environments. This poses significant challenges if one wants to remove these artifacts at the same time. In this paper, to the best of our knowledge, we are the first to propose an efficient end-to-end video transformer approach for the joint task of video deblurring, low-light enhancement, and denoising. This work builds a novel multi-tier transformer where each tier uses a different level of degraded video as a target to learn the features of video effectively. Moreover, we carefully design a new tier-to-tier feature fusion scheme to learn video features incrementally and accelerate the training process with a suitable adaptive weighting scheme. We also provide a new Multiscene-Lowlight-Blur-Noise (MLBN) dataset, which is generated according to the characteristics of the joint task based on the RealBlur dataset and YouTube videos to simulate realistic scenes as far as possible. We have conducted extensive experiments, compared with many previous state-of-the-art methods, to show the effectiveness of our approach clearly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google