Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers

要約

深層学習の最近の進歩により、ノイズのあるデータとノイズのないデータの広範なペアを監視に活用して、画像とビデオのノイズ除去で目覚ましい結果が得られました。
ただし、動的なシーンのペアのビデオを取得するという課題が、ディープ ビデオ ノイズ除去技術の実用的な展開を妨げています。
対照的に、画像のノイズ除去ではこの障害はそれほど顕著ではなく、ペアになったデータがより容易に利用可能になります。
したがって、十分にトレーニングされた画像デノイザーは、ビデオのノイズ除去のための信頼できる空間事前分布として機能する可能性があります。
この論文では、調整可能な時間モジュールを事前トレーニングされた画像デノイザーに統合する、「Temporal As a Plugin」(TAP) という名前の新しい教師なしビデオノイズ除去フレームワークを提案します。
時間モジュールを組み込むことにより、私たちの方法はノイズの多いフレーム全体で時間情報を活用し、空間ノイズ除去の能力を補完できます。
さらに、生成された疑似クリーン ビデオ フレームを使用して各時間モジュールを洗練する漸進的な微調整戦略を導入し、ネットワークのノイズ除去パフォーマンスを段階的に強化します。
他の教師なしビデオノイズ除去方法と比較して、私たちのフレームワークは、sRGB と生のビデオノイズ除去データセットの両方で優れたパフォーマンスを示します。

要約(オリジナル)

Recent advancements in deep learning have shown impressive results in image and video denoising, leveraging extensive pairs of noisy and noise-free data for supervision. However, the challenge of acquiring paired videos for dynamic scenes hampers the practical deployment of deep video denoising techniques. In contrast, this obstacle is less pronounced in image denoising, where paired data is more readily available. Thus, a well-trained image denoiser could serve as a reliable spatial prior for video denoising. In this paper, we propose a novel unsupervised video denoising framework, named “Temporal As a Plugin” (TAP), which integrates tunable temporal modules into a pre-trained image denoiser. By incorporating temporal modules, our method can harness temporal information across noisy frames, complementing its power of spatial denoising. Furthermore, we introduce a progressive fine-tuning strategy that refines each temporal module using the generated pseudo clean video frames, progressively enhancing the network’s denoising performance. Compared to other unsupervised video denoising methods, our framework demonstrates superior performance on both sRGB and raw video denoising datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google