Deep Unrolling Networks with Recurrent Momentum Acceleration for Nonlinear Inverse Problems

要約

モデルベースの反復アルゴリズムとデータ駆動型の深層学習ソリューションの長所を組み合わせたディープ アンローリング ネットワーク (DuNet) は、逆イメージング問題を解決するための一般的なツールとなっています。
DuNet は多くの線形逆問題にうまく適用されていますが、非線形問題は手法のパフォーマンスを損なう傾向があります。
最適化アルゴリズムでよく使用される運動量加速技術にヒントを得て、長期短期記憶リカレント ニューラル ネットワーク (LSTM-RNN) を使用して運動量加速プロセスをシミュレートするリカレント運動量加速 (RMA) フレームワークを提案します。
RMA モジュールは、LSTM-RNN の機能を利用して、以前の勾配からの知識を学習して保持します。
RMA を 2 つの一般的な DuNet、つまり学習型近位勾配降下法 (LPGD) と学習済み主双対法 (LPD) に適用し、それぞれ LPGD-RMA と LPD-RMA を生成します。
2 つの非線形逆問題、つまり非線形デコンボリューション問題と境界測定が制限された電気インピーダンス断層撮影問題に関する実験結果を提供します。
最初の実験では、問題の非線形性に関して RMA による改善が大幅に増加することが観察されました。
2 番目の例の結果は、RMA スキームが、強度の不正設定問題における DuNet のパフォーマンスを大幅に向上できることをさらに示しています。

要約(オリジナル)

Combining the strengths of model-based iterative algorithms and data-driven deep learning solutions, deep unrolling networks (DuNets) have become a popular tool to solve inverse imaging problems. While DuNets have been successfully applied to many linear inverse problems, nonlinear problems tend to impair the performance of the method. Inspired by momentum acceleration techniques that are often used in optimization algorithms, we propose a recurrent momentum acceleration (RMA) framework that uses a long short-term memory recurrent neural network (LSTM-RNN) to simulate the momentum acceleration process. The RMA module leverages the ability of the LSTM-RNN to learn and retain knowledge from the previous gradients. We apply RMA to two popular DuNets — the learned proximal gradient descent (LPGD) and the learned primal-dual (LPD) methods, resulting in LPGD-RMA and LPD-RMA respectively. We provide experimental results on two nonlinear inverse problems: a nonlinear deconvolution problem, and an electrical impedance tomography problem with limited boundary measurements. In the first experiment we have observed that the improvement due to RMA largely increases with respect to the nonlinearity of the problem. The results of the second example further demonstrate that the RMA schemes can significantly improve the performance of DuNets in strongly ill-posed problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google