Practical Real Video Denoising with Realistic Degradation Model

要約

既存のビデオ ノイズ除去方法は通常、ガウス ノイズを追加することにより、ノイズの多いビデオがクリーンなビデオから劣化することを前提としています。
ただし、このような劣化の仮定でトレーニングされた深いモデルは、劣化の不一致により、必然的に実際のビデオのパフォーマンスが低下します。
一部の研究では、カメラでキャプチャされたノイズのあるビデオとノイズのないビデオのペアでディープ モデルをトレーニングしようとしていますが、そのようなモデルは特定のカメラでのみうまく機能し、他のビデオではうまく一般化できません。
このホワイトペーパーでは、この制限を解除し、目に見えない現実世界のビデオをうまく一般化することを目的として、一般的な実際のビデオのノイズ除去の問題に焦点を当てることを提案します。
最初にビデオ ノイズの一般的な動作を調査し、2 つの重要な特性を観察することで、この問題に取り組みます。
スペース。
これら2つの観察に動機付けられて、上記の2つの特徴を最大限に活用することにより、マルチスケールのリカレントアーキテクチャを提案します。
次に、さまざまな種類のノイズをランダムにシャッフルしてノイズ除去モデルをトレーニングすることにより、合成の実際のノイズ劣化モデルを提案します。
合成され強化された劣化空間により、当社の劣化モデルは、トレーニング データと実世界のデータの間の分布ギャップを埋めるのに役立ちます。
広範な実験により、提案された方法が、合成ガウスノイズ除去と実際の実際のビデオノイズ除去の両方で、最先端のパフォーマンスと既存の方法よりも優れた一般化能力を達成することが実証されています。

要約(オリジナル)

Existing video denoising methods typically assume noisy videos are degraded from clean videos by adding Gaussian noise. However, deep models trained on such a degradation assumption will inevitably give rise to poor performance for real videos due to degradation mismatch. Although some studies attempt to train deep models on noisy and noise-free video pairs captured by cameras, such models can only work well for specific cameras and do not generalize well for other videos. In this paper, we propose to lift this limitation and focus on the problem of general real video denoising with the aim to generalize well on unseen real-world videos. We tackle this problem by firstly investigating the common behaviors of video noises and observing two important characteristics: 1) downscaling helps to reduce the noise level in spatial space and 2) the information from the adjacent frames help to remove the noise of current frame in temporal space. Motivated by these two observations, we propose a multi-scale recurrent architecture by making full use of the above two characteristics. Secondly, we propose a synthetic real noise degradation model by randomly shuffling different noise types to train the denoising model. With a synthesized and enriched degradation space, our degradation model can help to bridge the distribution gap between training data and real-world data. Extensive experiments demonstrate that our proposed method achieves the state-of-the-art performance and better generalization ability than existing methods on both synthetic Gaussian denoising and practical real video denoising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google