Memory-efficient model-based deep learning with convergence and robustness guarantees

要約

コンピューテーショナル イメージングは​​、一意性、収束性、および安定性が保証された圧縮センシング アルゴリズムによって革命を起こしました。
画像物理学と学習済み正則化事前確率を組み合わせたモデルベースの深層学習手法が、画像回復のためのより強力な代替手段として浮上しています。
このホワイトペーパーの主な焦点は、CS メソッドと同様の理論的保証を備えたメモリ効率の高いモデルベースのアルゴリズムを紹介することです。
提案された反復アルゴリズムは、スコア関数を含む勾配降下法と共役勾配アルゴリズムを交互に使用して、データの一貫性を促進します。
スコア関数は、単調畳み込みニューラル ネットワークとしてモデル化されます。
私たちの分析は、単調な制約が必要であり、任意の逆問題で不動点の一意性を強制するのに十分であることを示しています。
さらに、入力摂動に対してロバストな固定点への収束も保証します。
モノトーン プロパティが課される方法が異なる、提案された MOL フレームワークの 2 つの実装を紹介します。
最初のアプローチは厳密な単調制約を強制しますが、2 番目のアプローチは近似に依存します。
厳密な意味での 2 番目のアプローチでは、保証は有効ではありません。
ただし、私たちの経験的研究は、両方のアプローチの収束と堅牢性が同等であることを示していますが、制約の少ない近似実装はより良いパフォーマンスを提供します。
提案された深い均衡定式化は、展開された方法よりもはるかにメモリ効率が高く、現在の展開されたアルゴリズムでは処理できない 3D または 2D+時間の問題に適用できます。

要約(オリジナル)

Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. Model-based deep learning methods that combine imaging physics with learned regularization priors have emerged as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. We introduce two implementations of the proposed MOL framework, which differ in the way the monotone property is imposed. The first approach enforces a strict monotone constraint, while the second one relies on an approximation. The guarantees are not valid for the second approach in the strict sense. However, our empirical studies show that the convergence and robustness of both approaches are comparable, while the less constrained approximate implementation offers better performance. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google