Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems

要約

ニューラル ネットワークは、近年、逆問題を解決するための有力なアプローチとなっています。
逆問題を経験的に解決するために、そのような手法が多数開発されましたが、これらの手法に対する明確な理論的保証はまだ不足しています。
一方、多くの研究では、ニューラル タンジェント カーネルを制御する方法としてオーバーパラメータ化を使用する、より一般的な設定でニューラル ネットワークの最適解への収束を証明しました。
この研究では、これら 2 つの世界を橋渡しする方法を調査し、逆問題を解くように訓練された教師なしフィードフォワード多層ニューラル ネットワークのクラスに決定論的な収束と回復の保証を提供します。
また、スムーズ アクティベーション関数を備えた 2 層ディープ インバース プライア ネットワークが保証の恩恵を受けるオーバーパラメータ化限界も導き出します。

要約(オリジナル)

Neural networks have become a prominent approach to solve inverse problems in recent years. While a plethora of such methods was developed to solve inverse problems empirically, we are still lacking clear theoretical guarantees for these methods. On the other hand, many works proved convergence to optimal solutions of neural networks in a more general setting using overparametrization as a way to control the Neural Tangent Kernel. In this work we investigate how to bridge these two worlds and we provide deterministic convergence and recovery guarantees for the class of unsupervised feedforward multilayer neural networks trained to solve inverse problems. We also derive overparametrization bounds under which a two-layers Deep Inverse Prior network with smooth activation function will benefit from our guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google