Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

要約

タイトル：【自己教師あり画像ノイズ除去における見えないブラインドスポットを持つ方法への対応：Blind2Unblind】

要約：
– 実際のノイズが混入したクリーン画像ペアは大規模に収集することが高価で難しい。
– 一方、合成データで訓練された教師ありノイズ除去法は実用上効果が低い。
– ただ、単一のノイズ画像からのみ学習する自己教師ありノイズ除去法は、データ収集問題を解決する。
– しかし、特にブラインドスポット駆動の自己教師あり除去方法は、入力やネットワークデザイン中にかなりの情報損失を受ける。
– 有用な情報の欠如により、ノイズ除去性能の上限が大幅に低下する。
– 本論文では、ブラインドスポット駆動の除去方法における情報損失を解決するための、シンプルかつ効率的な手法であるBlind2Unblindを提案する。
– まず、グローバル認識能力を備えたマスクマッパーを導入し、訓練を加速する。
– マスクマッパーは、ノイズ除去されたボリュームのブラインドスポット上にあるすべてのピクセルをサンプリングし、同じチャンネルにマップし、損失関数が一度にすべてのブラインドスポットを最適化できるようにする。
– さらに、再表示損失を提案し、ノイズ除去ネットワークを訓練して、ブラインドスポットを可視化する。
– 除去器は、情報の欠落や同一マッピングによって閉じ込められることなく、生のノイズ画像から直接学習できる。
– また、再表示損失の収束の理論的分析を行っている。
– 合成および実世界のデータセットでの広範な実験結果により、既存の手法に比べて、Blind2Unblindアプローチの優れた性能が示されている。コードはhttps://github.com/demonsjin/Blind2Unblindにて入手可能。

要約(オリジナル)

Real noisy-clean pairs on a large scale are costly and difficult to obtain. Meanwhile, supervised denoisers trained on synthetic data perform poorly in practice. Self-supervised denoisers, which learn only from single noisy images, solve the data collection problem. However, self-supervised denoising methods, especially blindspot-driven ones, suffer sizable information loss during input or network design. The absence of valuable information dramatically reduces the upper bound of denoising performance. In this paper, we propose a simple yet efficient approach called Blind2Unblind to overcome the information loss in blindspot-driven denoising methods. First, we introduce a global-aware mask mapper that enables global perception and accelerates training. The mask mapper samples all pixels at blind spots on denoised volumes and maps them to the same channel, allowing the loss function to optimize all blind spots at once. Second, we propose a re-visible loss to train the denoising network and make blind spots visible. The denoiser can learn directly from raw noise images without losing information or being trapped in identity mapping. We also theoretically analyze the convergence of the re-visible loss. Extensive experiments on synthetic and real-world datasets demonstrate the superior performance of our approach compared to previous work. Code is available at https://github.com/demonsjin/Blind2Unblind.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI