Image Denoising and the Generative Accumulation of Photons

要約

ショットノイズで破損した画像とノイズ除去に関する新たな視点を提示します。
画像形成を検出器グリッド上の光子の連続的な蓄積として見ることにより、次の光子がどこに到着するかを予測するように訓練されたネットワークが実際に最小平均二乗誤差 (MMSE) ノイズ除去タスクを解決していることを示します。
この新しい視点により、私たちは 3 つの貢献を行うことができます。自己教師ありノイズ除去の新しい戦略を提示します。反復的にサンプリングして少数のフォトンを画像に追加することで、可能な解の事後からサンプリングする新しい方法を提示します。
空のキャンバスからこのプロセスを開始することで、完全な生成モデルを導き出します。
私たちはこのアプローチを光子の生成蓄積 (GAP) と呼んでいます。
私たちは、コミュニティに公開される 4 つの新しい蛍光顕微鏡データセットに基づいて、手法を定量的および定性的に評価します。
教師付きベースライン、自己教師付きベースライン、教師なしベースラインを上回っているか、同等のパフォーマンスを示していることがわかります。

要約(オリジナル)

We present a fresh perspective on shot noise corrupted images and noise removal. By viewing image formation as the sequential accumulation of photons on a detector grid, we show that a network trained to predict where the next photon could arrive is in fact solving the minimum mean square error (MMSE) denoising task. This new perspective allows us to make three contributions: We present a new strategy for self-supervised denoising, We present a new method for sampling from the posterior of possible solutions by iteratively sampling and adding small numbers of photons to the image. We derive a full generative model by starting this process from an empty canvas. We call this approach generative accumulation of photons (GAP). We evaluate our method quantitatively and qualitatively on 4 new fluorescence microscopy datasets, which will be made available to the community. We find that it outperforms supervised, self-supervised and unsupervised baselines or performs on-par.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google