Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent

要約

高度な機械学習手法、特にニューラル ネットワークは、ここ数年で逆問題を解決するための標準となってきました。
しかし、そのような方法の理論上の回復保証は依然として不足しており、達成するのは困難です。
Deep Image Prior (DIP) などの教師なし手法に、適切な初期化を使用した勾配フローを通じてトレーニングした場合の一般的な損失関数の収束と回復の保証が備わったのはつい最近のことです。
この論文では、適切に選択されたステップ サイズ/学習率で勾配降下法を使用する場合にこれらの保証が当てはまることを証明することで、これらの結果を拡張します。
また、離散化は 2 層 DIP ネットワークのオーバーパラメータ化限界に定数だけ影響すること、したがって勾配流で見つかったさまざまな保証が勾配降下にも適用されることも示します。

要約(オリジナル)

Advanced machine learning methods, and more prominently neural networks, have become standard to solve inverse problems over the last years. However, the theoretical recovery guarantees of such methods are still scarce and difficult to achieve. Only recently did unsupervised methods such as Deep Image Prior (DIP) get equipped with convergence and recovery guarantees for generic loss functions when trained through gradient flow with an appropriate initialization. In this paper, we extend these results by proving that these guarantees hold true when using gradient descent with an appropriately chosen step-size/learning rate. We also show that the discretization only affects the overparametrization bound for a two-layer DIP network by a constant and thus that the different guarantees found for the gradient flow will hold for gradient descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google