Singular value decomposition based matrix surgery

要約

この論文は、ランダム行列の条件数を減らして制御する簡単な手順を開発し、条件の良い行列と悪い行列の点群の永続的な相同性 (PH) への影響を調査することを目的としています。
ガウス/一様分布を使用してランダムに生成された正方行列の場合、SVD-Surgery 手順は次のように機能します。(1) その特異値分解 (SVD) を計算し、(2) より小さい特異値のリストを
リスト内のエントリの凸線形結合、および (3) SVD を逆にして新しい行列を計算します。
行列に SVD-Surgery を適用すると、多くの場合、入力行列の対角係数とは異なる対角係数が得られます。
ランダムな正方行列の空間分布は、それらの条件数の分布に相関することが知られています。
したがって、持続的相同性 (PH) 調査は、ランダムに生成された条件の良い行列と条件の悪い行列の大規模なデータセットの点群に対する SVD 手術の効果、およびそれらの逆行列によって形成された点群の効果を比較することに焦点を当てています。
.
この作業は、オーバーフィッティングを減らし、許容量の画像ノイズに対する堅牢性を向上させる手段として、畳み込みフィルターのセットの条件数の観点から、医用画像に対するディープラーニング (DL) トレーニングの影響を安定させたいという願望によって動機付けられました。
トレーニング中に畳み込みフィルターに適用すると、SVD-Surgery は、追加のパラメーターを学習する必要なく、DL モデルのスペクトル正則化として機能します。
十分に大きな畳み込みフィルターのいくつかの点群に対して、単純な戦略がフィルターのノルムを維持し、選択された線形結合パラメーターに応じてその逆のノルムを減らすことを示します。
さらに、私たちのアプローチは、マトリックスの適切な調整と安定したトポロジー的動作に向けて大幅な改善を示しました。

要約(オリジナル)

This paper aims to develop a simple procedure to reduce and control the condition number of random matrices, and investigate the effect on the persistent homology (PH) of point clouds of well- and ill-conditioned matrices. For a square matrix generated randomly using Gaussian/Uniform distribution, the SVD-Surgery procedure works by: (1) computing its singular value decomposition (SVD), (2) replacing the diagonal factor by changing a list of the smaller singular values by a convex linear combination of the entries in the list, and (3) compute the new matrix by reversing the SVD. Applying SVD-Surgery on a matrix often results in having different diagonal factor to those of the input matrix. The spatial distribution of random square matrices are known to be correlated to the distribution of their condition numbers. The persistent homology (PH) investigations, therefore, are focused on comparing the effect of SVD-Surgery on point clouds of large datasets of randomly generated well-conditioned and ill-conditioned matrices, as well as that of the point clouds formed by their inverses. This work is motivated by the desire to stabilise the impact of Deep Learning (DL) training on medical images in terms of the condition numbers of their sets of convolution filters as a mean of reducing overfitting and improving robustness against tolerable amounts of image noise. When applied to convolution filters during training, the SVD-Surgery acts as a spectral regularisation of the DL model without the need for learning extra parameters. We shall demonstrate that for several point clouds of sufficiently large convolution filters our simple strategy preserve filters norm and reduces the norm of its inverse depending on the chosen linear combination parameters. Moreover, our approach showed significant improvements towards the well-conditioning of matrices and stable topological behaviour.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google