Differentiable SVD based on Moore-Penrose Pseudoinverse for Inverse Imaging Problems

要約

低ランク正則化ベースのディープ アンローリング ネットワークは、さまざまな逆イメージング問題 (IIP) において目覚ましい成功を収めています。
ただし、重複した特異値が発生すると特異値分解 (SVD) は微分不可能となり、トレーニング中に数値が著しく不安定になります。
この論文では、この問題に対処するために、Moore-Penrose 擬似逆関数に基づく微分可能な SVD を提案します。
私たちの知る限り、これは自明な SVD の微分可能性の包括的な分析を提供する最初の研究です。
具体的には、SVD の非微分可能性は本質的に、導出プロセスで生じる線形方程式の過小決定系によるものであることを示します。
我々はムーア・ペンローズ擬似逆関数を利用してシステムを解き、それによって微分可能な SVD を提案します。
IIP に関連した数値安定性解析が提供されます。
カラー画像圧縮センシングと動的MRI再構成の実験結果は、私たちが提案する微分可能SVDが計算精度を確保しながら数値不安定性の問題に効果的に対処できることを示しています。
コードは https://github.com/yhao-z/SVD-inv で入手できます。

要約(オリジナル)

Low-rank regularization-based deep unrolling networks have achieved remarkable success in various inverse imaging problems (IIPs). However, the singular value decomposition (SVD) is non-differentiable when duplicated singular values occur, leading to severe numerical instability during training. In this paper, we propose a differentiable SVD based on the Moore-Penrose pseudoinverse to address this issue. To the best of our knowledge, this is the first work to provide a comprehensive analysis of the differentiability of the trivial SVD. Specifically, we show that the non-differentiability of SVD is essentially due to an underdetermined system of linear equations arising in the derivation process. We utilize the Moore-Penrose pseudoinverse to solve the system, thereby proposing a differentiable SVD. A numerical stability analysis in the context of IIPs is provided. Experimental results in color image compressed sensing and dynamic MRI reconstruction show that our proposed differentiable SVD can effectively address the numerical instability issue while ensuring computational precision. Code is available at https://github.com/yhao-z/SVD-inv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google