A Structured Pruning Algorithm for Model-based Deep Learning

要約

画像逆問題を解くためのモデルベース深層学習（MBDL）への関心が高まっている。MBDLネットワークは、物理測定モデルと畳み込みニューラルネット（CNN）を使用して指定された学習済み画像事前情報を使用して所望の画像を推定する反復アルゴリズムと見なすことができる。MBDLネットワークの反復的な性質は、テスト時間の計算複雑性を増大させ、特定の大規模アプリケーションへの適用を制限する。我々は、MBDLネットワークのための最初の構造化刈り込みアルゴリズムとして、モデルベースの深層学習のための構造化刈り込みアルゴリズム（SPADE）を提示することによって、この問題に対処する。SPADEは、MBDLネットワーク内で使用されるCNNの計算複雑度を、その非本質的な重みを刈り込むことによって低減する。我々は、性能損失を最小化するために、刈り込まれたMBDLネットワークを微調整する3つの異なる戦略を提案する。それぞれのファインチューニング戦略は、事前に訓練されたモデルと高品質なグランドトゥルースの存在に依存するユニークな利点を持つ。圧縮センシングMRIと画像超解像という2つの異なる逆問題でSPADEを検証する。その結果、SPADEによって刈り込まれたMBDLモデルは、競争力のある性能を維持しながら、テスト時間の大幅な高速化を達成できることが明らかになった。

要約(オリジナル)

There is a growing interest in model-based deep learning (MBDL) for solving imaging inverse problems. MBDL networks can be seen as iterative algorithms that estimate the desired image using a physical measurement model and a learned image prior specified using a convolutional neural net (CNNs). The iterative nature of MBDL networks increases the test-time computational complexity, which limits their applicability in certain large-scale applications. We address this issue by presenting structured pruning algorithm for model-based deep learning (SPADE) as the first structured pruning algorithm for MBDL networks. SPADE reduces the computational complexity of CNNs used within MBDL networks by pruning its non-essential weights. We propose three distinct strategies to fine-tune the pruned MBDL networks to minimize the performance loss. Each fine-tuning strategy has a unique benefit that depends on the presence of a pre-trained model and a high-quality ground truth. We validate SPADE on two distinct inverse problems, namely compressed sensing MRI and image super-resolution. Our results highlight that MBDL models pruned by SPADE can achieve substantial speed up in testing time while maintaining competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL