Content-aware Scalable Deep Compressed Sensing

要約

画像圧縮センシング（CS）の問題により効率的に対処するために、CASNetと呼ばれる新しいコンテンツ対応のスケーラブルなネットワークを紹介します。
まず、データ駆動型顕著性検出器を採用して、さまざまな画像領域の重要性を評価し、サンプリングレート割り当てのための顕著性ベースのブロック比集約（BRA）戦略を提案します。
次に、統一された学習可能な生成行列が開発され、順序付けられた構造を持つ任意のCS比のサンプリング行列が生成されます。
CASNetは、顕著性情報に基づく最適化に着想を得たリカバリサブネットと、アーティファクトのブロックを防止するマルチブロックトレーニングスキームを備えており、さまざまなサンプリングレートでサンプリングされた画像ブロックを1つのモデルで共同で再構築します。
トレーニングの収束を加速し、ネットワークの堅牢性を向上させるために、SVDベースの初期化スキームとランダム変換拡張（RTE）戦略を提案します。これらは、追加のパラメーターを導入することなく拡張できます。
すべてのCASNetコンポーネントを組み合わせて、エンドツーエンドで学習できます。
さらに、評価と実際の展開のための4段階の実装を提供します。
実験は、CASNetが他のCSネットワークを大幅に上回っており、そのコンポーネントと戦略間のコラボレーションと相互サポートを検証していることを示しています。
コードはhttps://github.com/Guaishou74851/CASNetで入手できます。

要約(オリジナル)

To more efficiently address image compressed sensing (CS) problems, we present a novel content-aware scalable network dubbed CASNet which collectively achieves adaptive sampling rate allocation, fine granular scalability and high-quality reconstruction. We first adopt a data-driven saliency detector to evaluate the importances of different image regions and propose a saliency-based block ratio aggregation (BRA) strategy for sampling rate allocation. A unified learnable generating matrix is then developed to produce sampling matrix of any CS ratio with an ordered structure. Being equipped with the optimization-inspired recovery subnet guided by saliency information and a multi-block training scheme preventing blocking artifacts, CASNet jointly reconstructs the image blocks sampled at various sampling rates with one single model. To accelerate training convergence and improve network robustness, we propose an SVD-based initialization scheme and a random transformation enhancement (RTE) strategy, which are extensible without introducing extra parameters. All the CASNet components can be combined and learned end-to-end. We further provide a four-stage implementation for evaluation and practical deployments. Experiments demonstrate that CASNet outperforms other CS networks by a large margin, validating the collaboration and mutual supports among its components and strategies. Codes are available at https://github.com/Guaishou74851/CASNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google