Domino Denoise: An Accurate Blind Zero-Shot Denoiser using Domino Tilings

要約

ノイズは下流の解析の妨げになるため、画像処理のツールボックスの中で画像のノイズ除去が重要な位置を占めるようになりました。最も正確な最先端のノイズ除去器は、通常、代表的なデータセットで学習します。しかし、学習セットを収集することは常に実行可能とは限らないため、ノイズ除去を行う画像のみで学習するブラインドゼロショットデノイザーへの関心が高まっています。最も正確なブラインドゼロショット法は、ピクセルをマスクし、その周囲から推測しようとするブラインドスポットネットワークである。全てのニューロンが前方推論に参加する他の手法も存在するが、精度が低く、オーバーフィッティングの影響を受けやすい。ここでは、ハイブリッドなアプローチを紹介する。まず、半盲検ネットワークを導入し、勾配更新の際にネットワークが入力のごく一部しか見ることができないようにする。次に、画素を2つのグループに分割し、ドミノティリングを用いて画素の隙間を埋める検証スキームを導入することにより、オーバーフィットを解決する。本手法は、合成ガウスノイズに対して、現在のゴールドスタンダードであるブラインドゼロショットデノイザーSelf2Selfと比較して、平均0.28$のPSNR向上と3倍のスピードアップを達成しました。我々は、ピクセルドミノタイリングを既に発表されている手法に挿入することで、ピクセルドミノタイリングの幅広い適用性を実証する。

要約(オリジナル)

Because noise can interfere with downstream analysis, image denoising has come to occupy an important place in the image processing toolbox. The most accurate state-of-the-art denoisers typically train on a representative dataset. But gathering a training set is not always feasible, so interest has grown in blind zero-shot denoisers that train only on the image they are denoising. The most accurate blind-zero shot methods are blind-spot networks, which mask pixels and attempt to infer them from their surroundings. Other methods exist where all neurons participate in forward inference, however they are not as accurate and are susceptible to overfitting. Here we present a hybrid approach. We first introduce a semi blind-spot network where the network can see only a small percentage of inputs during gradient update. We then resolve overfitting by introducing a validation scheme where we split pixels into two groups and fill in pixel gaps using domino tilings. Our method achieves an average PSNR increase of $0.28$ and a three fold increase in speed over the current gold standard blind zero-shot denoiser Self2Self on synthetic Gaussian noise. We demonstrate the broader applicability of Pixel Domino Tiling by inserting it into a preciously published method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL