Spatiotemporal Blind-Spot Network with Calibrated Flow Alignment for Self-Supervised Video Denoising

要約

自己監視型ビデオのノイズ除去は、グラウンド トゥルース データに依存せずにビデオからノイズを除去し、ビデオ自体を利用してクリーンなフレームを復元することを目的としています。
既存の手法では、単純な機能の積み重ねに依存したり、徹底的な分析を行わずにオプティカル フローを適用したりすることがよくあります。
これにより、フレーム間情報とフレーム内情報の両方が最適に利用されなくなり、自己監視条件下でのオプティカル フロー アライメントの可能性も無視され、偏った不十分なノイズ除去結果が得られます。
この目的を達成するために、まず自己監視設定におけるオプティカル フローの実用性を調査し、グローバル フレーム機能を利用するための時空間ブラインドスポット ネットワーク (STBN) を導入します。
時間領域では、提案されたブラインド スポット アライメント ブロックを介した双方向のブラインド スポット特徴伝播を利用して、正確な時間的アライメントを確保し、長距離の依存関係を効果的にキャプチャします。
空間領域では、受容野を強化し、全体的な知覚能力を向上させる空間受容野拡張モジュールを導入します。
さらに、ノイズに対するオプティカル フロー推定の感度を下げるために、オプティカル フロー アライメント中のきめの細かいフレーム間相互作用を洗練する教師なしオプティカル フロー蒸留メカニズムを提案します。
私たちの方法は、合成ビデオと現実世界の両方のビデオノイズ除去データセットにわたって優れたパフォーマンスを実証します。
ソース コードは https://github.com/ZKCCZ/STBN で公開されています。

要約(オリジナル)

Self-supervised video denoising aims to remove noise from videos without relying on ground truth data, leveraging the video itself to recover clean frames. Existing methods often rely on simplistic feature stacking or apply optical flow without thorough analysis. This results in suboptimal utilization of both inter-frame and intra-frame information, and it also neglects the potential of optical flow alignment under self-supervised conditions, leading to biased and insufficient denoising outcomes. To this end, we first explore the practicality of optical flow in the self-supervised setting and introduce a SpatioTemporal Blind-spot Network (STBN) for global frame feature utilization. In the temporal domain, we utilize bidirectional blind-spot feature propagation through the proposed blind-spot alignment block to ensure accurate temporal alignment and effectively capture long-range dependencies. In the spatial domain, we introduce the spatial receptive field expansion module, which enhances the receptive field and improves global perception capabilities. Additionally, to reduce the sensitivity of optical flow estimation to noise, we propose an unsupervised optical flow distillation mechanism that refines fine-grained inter-frame interactions during optical flow alignment. Our method demonstrates superior performance across both synthetic and real-world video denoising datasets. The source code is publicly available at https://github.com/ZKCCZ/STBN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google