Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems

要約

この研究では、解析ベースの画像正則化の下で画像再構成タスクのための新しい最適化戦略を提案します。これは、一部の学習された変換ドメインでスパースおよび/または低ランクの解を促進します。
$0 < p \le 1$ の $\ell_p^p$-vector と $\mathcal{S}_p^p$ シャッテン行列準ノルムの重み付き拡張に対応するポテンシャル関数を使用して、このような正則化子をパラメータ化します。 私たちが提案する最小化戦略は、通常、合成ベースの $\ell_p$ および $\mathcal{S}_p$ ノルムと、解析ベースの $\ell_1$ および核ノルム正則化に使用される反復再重み付け最小二乗法 (IRLS) 法を拡張します。 穏やかな条件下では、最小化アルゴリズムが静止点に線形に収束することを証明し、その収束率の上限を提供します。 さらに、目前の問題に対して最良の結果をもたらす正則化器のパラメータを選択するために、教師あり学習プロセスを確率的バイレベル最適化問題として定式化することにより、トレーニング データからパラメータを学習することを提案します。 私たちが提案した最小化戦略の収束保証のおかげで、このような最適化がメモリ効率の高い暗黙的な逆伝播スキームで正常に実行できることを示します。 私たちは、学習した IRLS バリアントをリカレント ネットワークとして実装し、非ブラインドぼけ除去、超解像度、デモザイクなどの困難な画像再構成タスクにおけるパフォーマンスを評価します。 他の既存の学習済み再構成アプローチとの比較は、私たちの方法全体が非常に競争力があり、多くの場合、パラメーターの数が私たちの場合よりも桁違いに多い既存のアンロールされたネットワークよりも優れていることを示しています。

要約(オリジナル)

In this work we present a novel optimization strategy for image reconstruction tasks under analysis-based image regularization, which promotes sparse and/or low-rank solutions in some learned transform domain. We parameterize such regularizers using potential functions that correspond to weighted extensions of the $\ell_p^p$-vector and $\mathcal{S}_p^p$ Schatten-matrix quasi-norms with $0 < p \le 1$. Our proposed minimization strategy extends the Iteratively Reweighted Least Squares (IRLS) method, typically used for synthesis-based $\ell_p$ and $\mathcal{S}_p$ norm and analysis-based $\ell_1$ and nuclear norm regularization. We prove that under mild conditions our minimization algorithm converges linearly to a stationary point, and we provide an upper bound for its convergence rate. Further, to select the parameters of the regularizers that deliver the best results for the problem at hand, we propose to learn them from training data by formulating the supervised learning process as a stochastic bilevel optimization problem. We show that thanks to the convergence guarantees of our proposed minimization strategy, such optimization can be successfully performed with a memory-efficient implicit back-propagation scheme. We implement our learned IRLS variants as recurrent networks and assess their performance on the challenging image reconstruction tasks of non-blind deblurring, super-resolution and demosaicking. The comparisons against other existing learned reconstruction approaches demonstrate that our overall method is very competitive and in many cases outperforms existing unrolled networks, whose number of parameters is orders of magnitude higher than in our case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google