Accelerating Deep Unrolling Networks via Dimensionality Reduction

要約

この作業では、ミニバッチ勾配近似や演算子スケッチなどの次元削減スキームを使用して、効率的なディープ アンローリング ネットワークを設計するための新しいパラダイムを提案します。
ディープ アンローリング ネットワークは、現在、逆問題をイメージングするための最先端のソリューションです。
ただし、高次元のイメージング タスク、特に X 線 CT および MRI イメージングの場合、ディープ アンローリング スキームは通常、メモリと計算の両方の点で非効率的になります。これは、高次元の前方および随伴演算子を複数回計算する必要があるためです。
最近の研究者は、確率的一次最適化の成功に触発された確率的勾配降下 (SGD) を展開することで、そのような制限に部分的に対処できることを発見しました。
この作業では、この方向性をさらに探り、最先端の Learned Primal-Dual (LPD) ネットワークに基づいて、より表現力豊かで実用的な確率的原始双対アンローリングを最初に提案し、確率的原始双対をさらに加速します。
-高次元の画像空間で製品を近似するためにスケッチ技術を使用した二重アンローリング。
オペレーターのスケッチは、最適な加速と圧縮のパフォーマンスを得るために、確率的アンローリングと一緒に適用できます。
X 線 CT 画像再構成に関する数値実験は、加速展開スキームの顕著な有効性を示しています。

要約(オリジナル)

In this work we propose a new paradigm for designing efficient deep unrolling networks using dimensionality reduction schemes, including minibatch gradient approximation and operator sketching. The deep unrolling networks are currently the state-of-the-art solutions for imaging inverse problems. However, for high-dimensional imaging tasks, especially X-ray CT and MRI imaging, the deep unrolling schemes typically become inefficient both in terms of memory and computation, due to the need of computing multiple times the high-dimensional forward and adjoint operators. Recently researchers have found that such limitations can be partially addressed by unrolling the stochastic gradient descent (SGD), inspired by the success of stochastic first-order optimization. In this work, we explore further this direction and propose first a more expressive and practical stochastic primal-dual unrolling, based on the state-of-the-art Learned Primal-Dual (LPD) network, and also a further acceleration upon stochastic primal-dual unrolling, using sketching techniques to approximate products in the high-dimensional image space. The operator sketching can be jointly applied with stochastic unrolling for the best acceleration and compression performance. Our numerical experiments on X-ray CT image reconstruction demonstrate the remarkable effectiveness of our accelerated unrolling schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google