Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods

要約

きれいな画像とノイズのある測定のペアに対するディープ ニューラル ネットワークの教師ありトレーニングは、多くの画像再構成タスクで最先端のパフォーマンスを実現しますが、通常、そのようなトレーニング ペアを収集するのは困難です。
さまざまな自己教師あり手法により、きれいな画像を使用せず、ノイズの多い測定値のみに基づいたトレーニングが可能になります。
この研究では、サンプルの複雑さを特徴付けることによって自己教師ありトレーニングのコストを調査します。
私たちは、noise2noise 法など、教師あり損失の勾配の不偏推定値の計算を可能にする自己教師あり手法のクラスに焦点を当てます。
まず、このような自己教師ありトレーニングでトレーニングされたモデルは、教師ありでトレーニングされた同じモデルと同等であることを分析的に示しますが、自己教師ありトレーニングには教師ありトレーニングよりも多くのサンプルが必要です。
次に、自己教師ありノイズ除去と加速 MRI を実験的に研究し、必要な追加サンプル数の観点から自己教師ありトレーニングのコストを特徴づけ、自己教師ありトレーニングと教師ありトレーニング間のパフォーマンスの差がトレーニングの関数として消えることを発見しました。
私たちの理論で予測されるように、問題に応じた割合で例が発生します。

要約(オリジナル)

Supervised training of deep neural networks on pairs of clean image and noisy measurement achieves state-of-the-art performance for many image reconstruction tasks, but such training pairs are usually difficult to collect. A variety of self-supervised methods enable training based on noisy measurements only, without clean images. In this work, we investigate the cost of self-supervised training by characterizing its sample complexity. We focus on a class of self-supervised methods that enable the computation of unbiased estimates of gradients of the supervised loss, including noise2noise methods. We first analytically show that a model trained with such self-supervised training is as good as the same model trained in a supervised fashion, but self-supervised training requires more examples than supervised training. We then study self-supervised denoising and accelerated MRI empirically and characterize the cost of self-supervised training in terms of the number of additional samples required, and find that the performance gap between self-supervised and supervised training vanishes as a function of the training examples, at a problem-dependent rate, as predicted by our theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google