Gated Recurrent Unit for Video Denoising

要約

現在のビデオ ノイズ除去方法は、畳み込みニューラル ネットワーク (CNN) を設計することによって時間融合を実行するか、空間ノイズ除去と時間融合を組み合わせて基本的なリカレント ニューラル ネットワーク (RNN) にします。
ただし、ビデオのノイズ除去に GRU (Gated Recurrent Unit) メカニズムを適用する作業はまだ行われていません。
このレターでは、GRU に基づく新しいビデオ ノイズ除去モデル、つまり GRU-VD を提案します。
まず、リセット ゲートを使用して、現在のフレームに関連するコンテンツを前のフレーム出力にマークします。
次に、非表示のアクティベーションは、マークされた関連コンテンツの助けを借りて、初期の時空間ノイズ除去として機能します。
最後に、更新ゲートは、最初のノイズ除去結果を前のフレーム出力と再帰的に融合して、精度をさらに高めます。
さまざまな照明条件を適応的に処理するために、現在のフレームのノイズ標準偏差もこれら 3 つのモジュールに供給されます。
初期のノイズ除去と最終的な融合を同時に調整するために、加重損失が採用されています。
実験結果は、GRU-VD ネットワークが、客観的および主観的に最新技術よりも優れた品質を達成できるだけでなく、実際のビデオで満足のいく主観的品質を得ることができることを示しています。

要約(オリジナル)

Current video denoising methods perform temporal fusion by designing convolutional neural networks (CNN) or combine spatial denoising with temporal fusion into basic recurrent neural networks (RNNs). However, there have not yet been works which adapt gated recurrent unit (GRU) mechanisms for video denoising. In this letter, we propose a new video denoising model based on GRU, namely GRU-VD. First, the reset gate is employed to mark the content related to the current frame in the previous frame output. Then the hidden activation works as an initial spatial-temporal denoising with the help from the marked relevant content. Finally, the update gate recursively fuses the initial denoised result with previous frame output to further increase accuracy. To handle various light conditions adaptively, the noise standard deviation of the current frame is also fed to these three modules. A weighted loss is adopted to regulate initial denoising and final fusion at the same time. The experimental results show that the GRU-VD network not only can achieve better quality than state of the arts objectively and subjectively, but also can obtain satisfied subjective quality on real video.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google