Learning Provably Robust Estimators for Inverse Problems via Jittering

要約

ディープ ニューラル ネットワークは、ノイズ除去などの逆問題に対して優れたパフォーマンスを提供します。
ただし、ニューラル ネットワークは、敵対的または最悪の場合の摂動に敏感になる可能性があります。
このため、そのようなネットワークを最悪の場合でも堅牢になるように効率的にトレーニングできるかどうかという疑問が生じます。
この論文では、トレーニング中に等方性ガウス ノイズを追加する単純な正則化手法であるジッタリングが、逆問題に対するワーストケースのロバスト推定量の学習に効果的であるかどうかを調査します。
分類タスクにおける予測についてはよく研究されていますが、逆問題に対するジッタリングの有効性については体系的に調査されていません。
この論文では、線形ノイズ除去のための最適な $\ell_2$-ワーストケースのロバスト推定器の新しい分析特性を示し、ジッタリングによって最適なロバストなデノイザーが得られることを示します。
さらに、自然画像のノイズ除去、デコンボリューション、加速磁気共鳴画像法 (MRI) のためのトレーニング ディープ ニューラル ネットワーク (U-net) を介してジッタリングを経験的に調査します。
結果は、ジッタリングは最悪の場合の堅牢性を大幅に向上させますが、ノイズ除去を超える逆問題に対しては最適ではない可能性があることを示しています。
さらに、私たちの結果は、わずかなノイズを含むことが多い実際のデータでのトレーニングにより、ある程度の堅牢性が向上することを示唆しています。

要約(オリジナル)

Deep neural networks provide excellent performance for inverse problems such as denoising. However, neural networks can be sensitive to adversarial or worst-case perturbations. This raises the question of whether such networks can be trained efficiently to be worst-case robust. In this paper, we investigate whether jittering, a simple regularization technique that adds isotropic Gaussian noise during training, is effective for learning worst-case robust estimators for inverse problems. While well studied for prediction in classification tasks, the effectiveness of jittering for inverse problems has not been systematically investigated. In this paper, we present a novel analytical characterization of the optimal $\ell_2$-worst-case robust estimator for linear denoising and show that jittering yields optimal robust denoisers. Furthermore, we examine jittering empirically via training deep neural networks (U-nets) for natural image denoising, deconvolution, and accelerated magnetic resonance imaging (MRI). The results show that jittering significantly enhances the worst-case robustness, but can be suboptimal for inverse problems beyond denoising. Moreover, our results imply that training on real data which often contains slight noise is somewhat robustness enhancing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google