Real-time Streaming Video Denoising with Bidirectional Buffers

要約

ビデオストリームは、ストレージとデバイスメモリのコストを節約するために継続的に配信されます。
ビデオストリームの撮影および送信中に発生するノイズを除去するために、通常、リアルタイムのノイズ除去アルゴリズムがユーザーデバイスに採用されます。
ただし、スライディングウィンドウベースの方法では、単一の出力に対して複数の入力フレームがフィードされ、計算効率が低下します。
最近のマルチ出力推論作業は、並列または反復フレームワークを使用して双方向の時間的機能を伝播します。これは、クリップの時間的エッジでパフォーマンスが低下するか、オンライン推論を実現できません。
この論文では、過去と未来の両方の時間的受容フィールドを持つストリーミングビデオの忠実度の高いリアルタイムノイズ除去を実現するために、双方向ストリーミングビデオノイズ除去（BSVD）フレームワークを提案します。
オンライン推論のための双方向の時間的融合は、MoViNetには適用できないと考えられています。
ただし、BSVDのコアモジュールとして新しい双方向バッファブロックを導入しました。これにより、パイプラインスタイルの推論が可能になります。
さらに、私たちの方法は簡潔で柔軟性があり、非ブラインドとブラインドの両方のビデオノイズ除去に利用できます。
私たちのモデルを、合成ノイズと実際のノイズについて、定性的および定量的にさまざまな最先端のビデオノイズ除去モデルと比較します。
私たちの方法は、復元の忠実度と実行時間の点で以前の方法よりも優れています。
ソースコードはhttps://github.com/ChenyangQiQi/BSVDで公開されています

要約(オリジナル)

Video streams are delivered continuously to save the cost of storage and device memory. Real-time denoising algorithms are typically adopted on the user device to remove the noise involved during the shooting and transmission of video streams. However, sliding-window-based methods feed multiple input frames for a single output and lack computation efficiency. Recent multi-output inference works propagate the bidirectional temporal feature with a parallel or recurrent framework, which either suffers from performance drops on the temporal edges of clips or can not achieve online inference. In this paper, we propose a Bidirectional Streaming Video Denoising (BSVD) framework, to achieve high-fidelity real-time denoising for streaming videos with both past and future temporal receptive fields. The bidirectional temporal fusion for online inference is considered not applicable in the MoViNet. However, we introduce a novel Bidirectional Buffer Block as the core module of our BSVD, which makes it possible during our pipeline-style inference. In addition, our method is concise and flexible to be utilized in both non-blind and blind video denoising. We compare our model with various state-of-the-art video denoising models qualitatively and quantitatively on synthetic and real noise. Our method outperforms previous methods in terms of restoration fidelity and runtime. Our source code is publicly available at https://github.com/ChenyangQiQi/BSVD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google