Lightweight Video Denoising Using a Classic Bayesian Backbone

要約

近年、最先端の画像およびビデオのノイズ除去ネットワークはますます大規模化しており、クラス最高のパフォーマンスを達成するには何百万ものトレーニング可能なパラメータが必要です。
ノイズ除去品質の向上にはノイズ除去速度が犠牲になっています。最新のトランスフォーマー ネットワークは、FastDVDnet やウィーナー フィルターなどの古典的なベイジアン デノイザーなどの小規模なノイズ除去ネットワークに比べて実行速度がはるかに遅くなります。
このペーパーでは、小さな補助ネットワークを活用して、高速なノイズ除去速度を維持しながら、元のノイズ除去機能を向上させるハイブリッド ウィーナー フィルターを実装します。
これらのネットワークは、ウィナー コアリング推定を改良し、ウィンドウ関数を最適化し、未知のノイズ プロファイルを推定するために使用されます。
これらの方法を使用すると、いくつかの一般的なデノイザーよりも優れた性能を発揮し、一般的な VRT トランスの平均 0.2 dB 以内に収まります。
私たちの方法は、トランスフォーマー法よりも 10 倍以上高速であり、パラメーター コストははるかに低いことがわかりました。

要約(オリジナル)

In recent years, state-of-the-art image and video denoising networks have become increasingly large, requiring millions of trainable parameters to achieve best-in-class performance. Improved denoising quality has come at the cost of denoising speed, where modern transformer networks are far slower to run than smaller denoising networks such as FastDVDnet and classic Bayesian denoisers such as the Wiener filter. In this paper, we implement a hybrid Wiener filter which leverages small ancillary networks to increase the original denoiser performance, while retaining fast denoising speeds. These networks are used to refine the Wiener coring estimate, optimise windowing functions and estimate the unknown noise profile. Using these methods, we outperform several popular denoisers and remain within 0.2 dB, on average, of the popular VRT transformer. Our method was found to be over x10 faster than the transformer method, with a far lower parameter cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google