Zero-Shot Image Denoising for High-Resolution Electron Microscopy

要約

高解像度電子顕微鏡 (HREM) イメージング技術は、実空間の広範囲の材料を直接視覚化するための強力なツールです。
ただし、信号対雑音比 (SNR) が非常に低く、データの可用性が乏しいため、ノイズ除去において課題に直面しています。
この研究では、HREM 用のゼロショット自己教師あり学習 (ZS-SSL) ノイズ除去フレームワークである Noise2SR を提案します。
私たちのフレームワーク内で、ランダム サブサンプラー モジュールを組み込んだ、超解像度 (SR) ベースの自己教師ありトレーニング戦略を提案します。
ランダム サブサンプラーは、単一のノイズを含む画像から近似的に無限のノイズを含むペアを生成するように設計されており、ゼロショット ノイズ除去における効果的なデータ拡張として機能します。
Noise2SR は、SR 戦略によって実行される、異なる解像度のノイズの多い画像のペアを使用してネットワークをトレーニングします。
SR ベースのトレーニングにより、ネットワークが監視用により多くのピクセルを採用することが容易になり、ランダム サブサンプリングにより、ネットワークが連続信号を学習するようになり、堅牢性が向上します。
一方、ノイズ除去された結果に対して最小平均二乗誤差 (MMSE) 推定を採用することで、ランダム サンプリングによって引き起こされる不確実性を軽減します。
トレーニング戦略と提案された設計の独特の統合により、Noise2SR は単一のノイズを含む HREM 画像を使用して優れたノイズ除去パフォーマンスを達成できます。
シミュレーションと実際の HREM ノイズ除去タスクの両方で Noise2SR のパフォーマンスを評価します。
最先端の ZS-SSL メソッドを上回り、教師ありメソッドと同等のノイズ除去パフォーマンスを実現します。
Noise2SR の成功は、マテリアル イメージング ドメインにおける画像の SNR を向上させる可能性を示唆しています。

要約(オリジナル)

High-resolution electron microscopy (HREM) imaging technique is a powerful tool for directly visualizing a broad range of materials in real-space. However, it faces challenges in denoising due to ultra-low signal-to-noise ratio (SNR) and scarce data availability. In this work, we propose Noise2SR, a zero-shot self-supervised learning (ZS-SSL) denoising framework for HREM. Within our framework, we propose a super-resolution (SR) based self-supervised training strategy, incorporating the Random Sub-sampler module. The Random Sub-sampler is designed to generate approximate infinite noisy pairs from a single noisy image, serving as an effective data augmentation in zero-shot denoising. Noise2SR trains the network with paired noisy images of different resolutions, which is conducted via SR strategy. The SR-based training facilitates the network adopting more pixels for supervision, and the random sub-sampling helps compel the network to learn continuous signals enhancing the robustness. Meanwhile, we mitigate the uncertainty caused by random-sampling by adopting minimum mean squared error (MMSE) estimation for the denoised results. With the distinctive integration of training strategy and proposed designs, Noise2SR can achieve superior denoising performance using a single noisy HREM image. We evaluate the performance of Noise2SR in both simulated and real HREM denoising tasks. It outperforms state-of-the-art ZS-SSL methods and achieves comparable denoising performance with supervised methods. The success of Noise2SR suggests its potential for improving the SNR of images in material imaging domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google