Robust Stochastically-Descending Unrolled Networks

要約

ディープ アンローリング (またはアンフォールディング) は、トレーニング可能なニューラル ネットワークの層で切り捨てられた反復アルゴリズムを展開する、新しい最適化学習手法です。
ただし、展開されたネットワークの収束性の保証と一般化可能性は、まだ理論上未解決の問題です。
これらの問題に取り組むために、トレーニング中に降順制約を課すことにより、確率的降下特性を備えた深くアンロールされたアーキテクチャを提供します。
降下制約はレイヤーごとに強制され、展開された各レイヤーがトレーニング中に平均して最適化に向けて降下ステップを実行するようにします。
トレーニング問題とテスト問題の間で分布の変化がないと仮定すると、展開された層の出力によって構築されたシーケンスが、目に見えない問題に対して収束することが保証されることを理論的に証明します。
また、標準のアンローリングは摂動に対して脆弱であり、課せられた制約により、アンロールされたネットワークに付加的なノイズと摂動に対する堅牢性が与えられることも示します。
私たちは、学習可能な反復収縮およびしきい値アルゴリズム (LISTA) を使用したスパースコーディングと、近位生成フロー (GLOW-Prox) を使用した画像修復を含む 2 つの異なるアプリケーションで、提案された制約の下でトレーニングされたアンロールされたアーキテクチャを数値的に評価し、パフォーマンスとロバスト性の利点を実証します。
提案された方法。

要約(オリジナル)

Deep unrolling, or unfolding, is an emerging learning-to-optimize method that unrolls a truncated iterative algorithm in the layers of a trainable neural network. However, the convergence guarantees and generalizability of the unrolled networks are still open theoretical problems. To tackle these problems, we provide deep unrolled architectures with a stochastic descent nature by imposing descending constraints during training. The descending constraints are forced layer by layer to ensure that each unrolled layer takes, on average, a descent step toward the optimum during training. We theoretically prove that the sequence constructed by the outputs of the unrolled layers is then guaranteed to converge for unseen problems, assuming no distribution shift between training and test problems. We also show that standard unrolling is brittle to perturbations, and our imposed constraints provide the unrolled networks with robustness to additive noise and perturbations. We numerically assess unrolled architectures trained under the proposed constraints in two different applications, including the sparse coding using learnable iterative shrinkage and thresholding algorithm (LISTA) and image inpainting using proximal generative flow (GLOW-Prox), and demonstrate the performance and robustness benefits of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google