Convergence Guarantees of Overparametrized Wide Deep Inverse Prior

要約

ニューラル ネットワークは、近年、逆問題を解決するための優れたアプローチになっています。
さまざまな既存の方法の中で、Deep Image/Inverse Priors (DIP) 手法は教師なしアプローチであり、高度にオーバーパラメーター化されたニューラル ネットワークを最適化して、ランダムな入力をオブジェクトに変換し、フォワード モデルの画像が観測値と一致します。
ただし、そのような方法に必要な過剰パラメータ化のレベルは未解決の問題のままです。
この作業では、滑らかな活性化関数を持つ 2 層ニューラル ネットワークについて、この問題を調査することを目的としています。
連続時間勾配降下によってトレーニングされたそのようなネットワークが指数関数的に高速に収束し、回復予測限界を導き出すことを可能にする、過剰パラメータ化限界を提供します。
したがって、この作業は、オーバーパラメーター化された DIP ネットワークの理論的理解に向けた第一歩であり、より広くは、逆問題設定におけるニューラル ネットワークの理論的理解に関与しています。

要約(オリジナル)

Neural networks have become a prominent approach to solve inverse problems in recent years. Amongst the different existing methods, the Deep Image/Inverse Priors (DIPs) technique is an unsupervised approach that optimizes a highly overparametrized neural network to transform a random input into an object whose image under the forward model matches the observation. However, the level of overparametrization necessary for such methods remains an open problem. In this work, we aim to investigate this question for a two-layers neural network with a smooth activation function. We provide overparametrization bounds under which such network trained via continuous-time gradient descent will converge exponentially fast with high probability which allows to derive recovery prediction bounds. This work is thus a first step towards a theoretical understanding of overparametrized DIP networks, and more broadly it participates to the theoretical understanding of neural networks in inverse problem settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google