A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers

要約

展開された近接ニューラル ネットワーク (PNN) は、深層学習と近接最適化アプローチを組み合わせた一連のメソッドを形成します。
それらは、固定回数の反復で近似アルゴリズムを展開することによって、特定のタスク用のニューラル ネットワークを設計することにあり、事前のトレーニング手順から線形性を学習できます。
PNN は、特に計算イメージングにおいて、従来の深層学習アプローチよりも堅牢であると同時に、少なくとも同等の優れたパフォーマンスに達することが示されています。
ただし、PNN のトレーニングは、依然として利用可能なトレーニング アルゴリズムの効率に依存しています。
この研究では、展開された PNN のブレグマン距離に基づいたリフトされたトレーニング定式化を提案します。
決定論的なミニバッチのブロック座標順方向-逆方向法を活用して、結果として生じる学習問題を効率的に解決するための、従来の逆伝播法を超えたオーダーメイドの計算戦略を設計します。
構造が二重近位勾配反復に基づいているノイズ除去 PNN を考慮して、画像ノイズ除去に関する数値シミュレーションを通じて PNN に対して提案されたトレーニング アプローチの動作を評価します。

要約(オリジナル)

Unfolded proximal neural networks (PNNs) form a family of methods that combines deep learning and proximal optimization approaches. They consist in designing a neural network for a specific task by unrolling a proximal algorithm for a fixed number of iterations, where linearities can be learned from prior training procedure. PNNs have shown to be more robust than traditional deep learning approaches while reaching at least as good performances, in particular in computational imaging. However, training PNNs still depends on the efficiency of available training algorithms. In this work, we propose a lifted training formulation based on Bregman distances for unfolded PNNs. Leveraging the deterministic mini-batch block-coordinate forward-backward method, we design a bespoke computational strategy beyond traditional back-propagation methods for solving the resulting learning problem efficiently. We assess the behaviour of the proposed training approach for PNNs through numerical simulations on image denoising, considering a denoising PNN whose structure is based on dual proximal-gradient iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google