Stochastic Gradient Descent Jittering for Inverse Problems: Alleviating the Accuracy-Robustness Tradeoff

要約

逆問題は、破損または摂動された測定値から目に見えないデータを再構築することを目的としています。
ほとんどの作業は再構成の品質の向上に焦点を当てていますが、特に安全性が重要なアプリケーションでは、一般化の精度と堅牢性も同様に重要です。
ループ展開手法などのモデルベース アーキテクチャ (MBA) は、より解釈しやすく、より適切な再構築を実現すると考えられています。
経験的証拠は、MBA がブラックボックス ソルバーよりも摂動に対してより堅牢であることを示唆していますが、MBA における精度と堅牢性のトレードオフは依然として十分に調査されていません。
この研究では、再構築中に反復的にノイズを注入する、SGD ジッタリングと呼ばれる、MBA 向けのシンプルかつ効果的なトレーニング スキームを提案します。
SGD ジッタリングは、標準の平均二乗誤差トレーニングよりも一般化するだけでなく、平均的な場合の攻撃に対してもより堅牢であることを理論的に示しています。
玩具のノイズ除去、地震デコンボリューション、シングルコイル MRI 再構成を使用して、SGD ジッタリングを検証します。
提案された方法は、分布外データのよりクリーンな再構成を実現し、敵対的攻撃に対する堅牢性が強化されたことを実証します。

要約(オリジナル)

Inverse problems aim to reconstruct unseen data from corrupted or perturbed measurements. While most work focuses on improving reconstruction quality, generalization accuracy and robustness are equally important, especially for safety-critical applications. Model-based architectures (MBAs), such as loop unrolling methods, are considered more interpretable and achieve better reconstructions. Empirical evidence suggests that MBAs are more robust to perturbations than black-box solvers, but the accuracy-robustness tradeoff in MBAs remains underexplored. In this work, we propose a simple yet effective training scheme for MBAs, called SGD jittering, which injects noise iteration-wise during reconstruction. We theoretically demonstrate that SGD jittering not only generalizes better than the standard mean squared error training but is also more robust to average-case attacks. We validate SGD jittering using denoising toy examples, seismic deconvolution, and single-coil MRI reconstruction. The proposed method achieves cleaner reconstructions for out-of-distribution data and demonstrates enhanced robustness to adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google